[논문 리뷰] Act the Part: Learning Interaction Strategies for Articulated Object Part Discovery

Samir Yitzhak Gadre, Kiana Ehsani외 1명|arXiv (Cornell University)|2021. 05. 03.

Multimodal Machine Learning Applications참고 문헌 45인용 수 7

한 줄 요약

Act the Part (AtP)는 행동 선택과 운동 분할을 결합하여 운동 가능한 물체의 부분을 탐지하고 분할하는 상호작용 전략을 학습함으로써 시뮬레이션 및 실제 환경에서 미세조정 없이도 새로운 카테고리에 대해 제로샷 일반화를 가능하게 한다. 이 방법은 시각적 및 촉각 피드백을 사용하여 어디에, 어떻게 밀지를 고려하며, 전략적인 물리적 상호작용을 통해 해석 가능한 조건부 추론과 효과적인 부분 탐지 달성.

ABSTRACT

People often use physical intuition when manipulating articulated objects, irrespective of object semantics. Motivated by this observation, we identify an important embodied task where an agent must play with objects to recover their parts. To this end, we introduce Act the Part (AtP) to learn how to interact with articulated objects to discover and segment their pieces. By coupling action selection and motion segmentation, AtP is able to isolate structures to make perceptual part recovery possible without semantic labels. Our experiments show AtP learns efficient strategies for part discovery, can generalize to unseen categories, and is capable of conditional reasoning for the task. Although trained in simulation, we show convincing transfer to real world data with no fine-tuning.

연구 동기 및 목표

• 정적인 구조나 의미적 레이블이 없이도 운동 가능한 물체의 부분을 탐지하는 데 도전하는 것.
• 무작위 또는 히우리스틱 행동에 의존하는 대신, 부분의 운동을 드러내는 상호작용 전략을 학습하는 것.
• 다양한 수의 부분과 관절을 가진 새로운 구성에 대해 제로샷 일반화를 가능하게 하는 것.
• 임의의 고정 위치를 기반으로 한 밀기 행동에 대한 조건부 추론을 지원하여 해석 가능하고 적응 가능한 상호작용을 가능하게 하는 것.
• 스마트폰 카메라만을 사용하여 시뮬레이션에서 실제 RGB 이미지로의 효과적인 전이를 보여주는 것, 도메인 적응 또는 미세조정 없이도 가능하다.

제안 방법

• AtP는 이중 스트림 네트워크를 사용한다: 시각적 관측과 부분 분할 믿음에 기반해 최적의 고정 및 밀기 행동을 예측하는 상호작용 네트워크와, 광학 흐름과 촉각 피드백을 사용해 부분 마스크를 업데이트하는 인지 네트워크.
• 상호작용 네트워크는 시각적 관측의 변화를 고려해 어디에 행동을 취할지를 추론하며, 고정 위치 조건 하에 잠재적 밀기 행동의 점수를 매기는 보상 예측 헤드를 사용한다.
• 운동 분할은 연속 프레임 간 광학 흐름을 사용하여 수행되며, 시간에 걸쳐 부분 마스크를 집계하여 믿음 상태를 정교화한다.
• 촉각 피드백은 바이너리 신호(예: 전단력 존재 여부)로 모델링되며, 학습 루프에 통합되어 행동 선택과 운동 탐지 향상에 기여한다.
• 모델은 PartNet-Mobility 데이터셋을 사용해 시뮬레이션에서 훈련되며, 시간이 지남에 따라 과제 복잡도를 점진적으로 증가시키는 커리큘럼 학습 스케줄을 사용한다.
• 기록 집계 메커니즘이 타임스텝 간에 부분 분할 믿음을 유지하고 업데이트하여 새로운 부분의 점진적 탐지가 가능하도록 한다.

Figure 1: Interaction for Part Discovery. Passive part segmentation algorithms require detailed annotation and cannot generalize to new categories. While motion can help discover new objects, prior work cannot infer actions for understanding individual parts. Our work, Act the Part, learns interacti

실험 결과

연구 질문

• RQ1 에이전트는 사전 의미 지식 없이도 운동 가능한 물체와 상호작용하여 숨겨진 부분을 체계적으로 드러내어 분할할 수 있는가?
• RQ2 다양한 수의 부분과 관절을 가진 새로운 물체 카테고리에 대해 상호작용 전략이 일반화 가능한가?
• RQ3 임의의 고정 위치를 기반으로 한 최적의 밀기 행동 예측을 통해 모델이 해석 가능한 조건부 추론을 보여주는가?
• RQ4 모델은 미세조정 없이도 시뮬레이션에서 실제 RGB 이미지로 효과적으로 전이되는가?
• RQ5 시각적 피드백 뿐만 아니라 촉각 피드백을 통합함으로써 부분 탐지 성능가 시각 전용 기준보다 향상되는가?

주요 결과

• AtP는 부분 애너테이션이나 운동학적 사전 지식 없이도 효율적이고 과제에 특화된 상호작용 전략을 학습하여, 운동의 고립과 노출을 가능하게 하여 성공적인 부분 분할 달성.
• 모델은 새로운 물체 카테고리, 최대 3개의 연결 링크를 가진 다중링크 구성까지 포함하여 제로샷 일반화를 보이며, 구조적 및 시각적 변동성에 강건함을 입증.
• 보기의 밀기 보상 맵을 통한 시각화를 통해 조건부 행동 추론이 입증되었으며, 고정 위치에 따라 예측이 적응함을 보여주어 구조적 이해를 나타낸다.
• 실세계 실험에서 AtP는 미세조정 없이도 스마트폰으로 촬영한 RGB 이미지에서 부분 마스크를 성공적으로 탐지하였으며, 조명 및 아티팩트의 도메인 차이가 존재하더라도 강력한 시뮬레이션에서 실제 전이 성능을 보였다.
• 반복적인 상호작용과 믿음 갱신을 통해 높은 품질의 부분 분할을 달성하였으며, 다양한 물체 형태, 질감, 관절 유형에서 성능이 안정적이었다.
• 모델이 밀기 방향(예: 가위를 열기 위해 상단 왼쪽으로 밀기)을 고려할 수 있음을 통해 물리적으로 타당하고 정보적인 상호작용 정책을 학습함을 확인하였다.

Figure 2: Model overview. (a) The interaction network computes hold and push from an image observation and current part memory. The physics simulator gives the action effects yielding the next observation. (b) The part network takes the action and image observations to infer the motion masks for the