[논문 리뷰] Imagine That! Leveraging Emergent Affordances for 3D Tool Synthesis

Yizhe Wu, Sudhanshu Kasewa외 5명|arXiv (Cornell University)|2019. 09. 30.

Manufacturing Process and Optimization참고 문헌 47인용 수 4

한 줄 요약

이 논문은 시각 기반 생성 모델의 잠재 공간에서 나타나는 잠재적 기능을 활용하여 3D 도구 합성을 위한 방법을 제안한다. 잠재 공간 내에서 임의의 작업 성능 예측기로 유도된 활성화 최대화를 통해 기하학적 요소(예: 길이, 너비, 형태)의 매끄럽고 해석 가능한 경로를 따라 도구를 상상하고 생성함으로써, 미사용된 도달 작업에서 83.8%의 성공률을 달성한다. 이는 도구의 기능이 잠재 공간 내에서 구조적인 경로로 나타남을 보여준다.

ABSTRACT

In this paper we explore the richness of information captured by the latent space of a vision-based generative model. The model combines unsupervised generative learning with a task-based performance predictor to learn and to exploit task-relevant object affordances given visual observations from a reaching task, involving a scenario and a stick-like tool. While the learned embedding of the generative model captures factors of variation in 3D tool geometry (e.g. length, width, and shape), the performance predictor identifies sub-manifolds of the embedding that correlate with task success. Within a variety of scenarios, we demonstrate that traversing the latent space via backpropagation from the performance predictor allows us to imagine tools appropriate for the task at hand. Our results indicate that affordances-like the utility for reaching-are encoded along smooth trajectories in latent space. Accessing these emergent affordances by considering only high-level performance criteria (such as task success) enables an agent to manipulate tool geometries in a targeted and deliberate way.

연구 동기 및 목표

• 작업 기반 탐색이 구조적인 잠재 공간에서 의미 있고 작업에 적합한 3D 도구를 생성할 수 있는지 조사하기 위해.
• 도구의 기능(예: 도달 가능성)이 생성 모델의 잠재 공간 내에서 매끄러운 경로로 나타나는지 탐색하기 위해.
• 비지도 생성 학습과 고수준 성능 예측기의 하이브리드 아키텍처를 개발하여 타겟된 도구 조작을 가능하게 하기 위해.
• 고수준 작업 성공 기준이 형태 요소에 대한 명시적 지도 없이도 3D 도구 형상의 해석 가능한 기하학적 수정을 유도할 수 있는지 보여주기 위해.

제안 방법

• 3D 도구 메쉬에 대해 변분 오토인코더(VAE)를 훈련하여 기하학적 요소(길이, 너비, 형태 등)를 캡처하는 구조적인 잠재 공간을 학습한다.
• 시나리오의 시각적 관측과 도구 기하학을 사용하여 도약 작업에서의 성공 여부를 예측하는 분류기인 작업 기반 성능 예측기를 훈련한다.
• 추론 과정에서 성능 예측기의 출력에 대해 활성화 최대화를 적용하여, 잠재 공간을 통해 역전파를 유도하고, 더 높은 예측 성공률을 향해 도구의 잠재 표현을 수정한다.
• 업데이트된 잠재 코드는 새로운 3D 메시로 디코딩되어 에이전트가 주어진 작업에 적합한 향상된 도구 형상을 '상상'할 수 있게 한다.
• 작업에 무관한 모델과 무작위 보행 기반 모델을 대조하여, 작업 유도 최적화의 기여도를 분리한다.
• VAE 재구성 손실과 성능 예측기의 교차 엔트로피 손실을 함께 최적화하여, 잠재 공간이 작업 관련 분리된 요소를 캡처하도록 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 도약 가능성과 같은 잠재적 기능이 생성 모델의 잠재 공간 내에서 매끄러운 경로로 표현될 수 있는가?
• RQ2 고수준 성능 예측기가 잠재 공간 최적화를 통해 의미 있고 해석 가능한 3D 도구 기하학적 수정을 유도할 수 있는가?
• RQ3 잠재 공간 내에서 작업 기반 탐색이 무작위 또는 작업에 무관한 탐색보다 더 효과적인 도구 합성을 이끌어내는가?
• RQ4 도구 상상 과정에서 모델이 미사용된 시나리오 유형으로 일반화할 수 있는 정도는 어느 정도인가?

주요 결과

• 작업 기반 모델은 미사용된 도약 작업에 대해 83.8%의 전반적인 성공률을 기록했으며, 작업에 무관한 기준 모델(63.6%)보다 뚜렷이 뛰어나다.
• 무작위 보행 기반 모델은 잠재 공간을 확률적으로 탐색했지만 적합한 도구를 찾지 못했으며, 이는 유도되지 않은 탐색이 비효율적임을 시사한다.
• 정성적 결과에서는 T자형이나 후크 모양의 도구와 같은 새로운 도구 형상을, 수직 및 수평 부분과 같은 서로 다른 기하학적 구성 요소 간의 보간을 통해 생성한다.
• 모델은 길이, 너비, 구성과 같은 해석 가능한 기하학적 요소를 매끄럽고 연속적인 방식으로 수정함으로써, 이러한 요소들이 잠재 공간 내에서 경로로 인코딩되어 있음을 보여준다.
• 성능 예측기는 잠재 공간 내에서 작업 관련 기능(예: 도달 가능성 향상)에 해당하는 부분 다각형을 성공적으로 식별하고 모델을 이에 유도한다.
• 결과적으로, 고수준 작업 목표에 의해 유도될 때 기능이 명시적으로 인코딩되지 않더라도 잠재 공간 내에서 자연스럽게 구조적인 경로로 나타남을 보여준다.