[논문 리뷰] PartAfford: Part-level Affordance Discovery from 3D Objects

Chao Xu, Yixin Chen외 4명|arXiv (Cornell University)|2022. 02. 28.

Robot Manipulation and Learning인용 수 13

한 줄 요약

이 논문은 밀도 높은 지도 학습 없이도 희박한 기능 레이블과 기하학적 정규화를 사용하여 3D 물체의 부분 수준 기능을 탐색하는 새로운 작업인 PartAfford를 소개한다. 이 방법은 비지도 학습을 위한 슬롯-어텐션 인코더와 재구성, 기능 예측, 상자형 기하학적 원소 정규화를 위한 다중 분지 디코더를 활용하며, 새로 구축한 25,000개 이상의 3D 물체와 24개의 기능 카테고리로 구성된 데이터셋을 통해 교차 카테고리 및 도전적인 예제에서 강력한 일반화 성능을 달성한다.

ABSTRACT

Understanding what objects could furnish for humans-namely, learning object affordance-is the crux to bridge perception and action. In the vision community, prior work primarily focuses on learning object affordance with dense (e.g., at a per-pixel level) supervision. In stark contrast, we humans learn the object affordance without dense labels. As such, the fundamental question to devise a computational model is: What is the natural way to learn the object affordance from visual appearance and geometry with humanlike sparse supervision? In this work, we present a new task of part-level affordance discovery (PartAfford): Given only the affordance labels per object, the machine is tasked to (i) decompose 3D shapes into parts and (ii) discover how each part of the object corresponds to a certain affordance category. We propose a novel learning framework for PartAfford, which discovers part-level representations by leveraging only the affordance set supervision and geometric primitive regularization, without dense supervision. The proposed approach consists of two main components: (i) an abstraction encoder with slot attention for unsupervised clustering and abstraction, and (ii) an affordance decoder with branches for part reconstruction, affordance prediction, and cuboidal primitive regularization. To learn and evaluate PartAfford, we construct a part-level, cross-category 3D object affordance dataset, annotated with 24 affordance categories shared among >25, 000 objects. We demonstrate that our method enables both the abstraction of 3D objects and part-level affordance discovery, with generalizability to difficult and cross-category examples. Further ablations reveal the contribution of each component.

연구 동기 및 목표

• 밀도 높은 애너테이션 없이도 인간이 기능을 학습하는 방식을 모방하는 희박한 지도 학습 파라다임을 제안하여 시각적 기능 학습 분야의 격차를 해소하고자 한다.
• 모델이 오직 물체 수준의 기능 레이블과 3D 기하학적 정보만으로 부분 수준 기능을 탐색하는 새로운 작업인 PartAfford를 정의하고자 한다.
• 오직 집합 수준의 지도 학습과 기하학적 사전 지식만을 사용하여 3D 부분 추상화와 기능 탐색을 동시에 수행하는 자기지도 학습 프레임워크를 개발하고자 한다.
• 25,000개 이상의 물체에 걸쳐 24개의 기능 카테고리를 포함하는 대규모, 부분 수준, 교차 카테고리 3D 기능 데이터셋을 구축하여 벤치마킹을 위한 기반을 마련하고자 한다.
• 모델이 어려운 예제나 교차 카테고리 예제에 대해 일반화 능력을 보이며, 부분 수준 기능 이해의 강건성과 해석 가능성도 입증하고자 한다.

제안 방법

• 모델은 슬롯-어텐션 기반 인코더를 사용하여 3D 물체 특징을 분리된 슬롯 변수의 집합으로 추상화함으로써, 지도된 부분 애너테이션 없이도 비지도 클러스터링과 부분 추상화를 가능하게 한다.
• 다중 분지 디코더는 기능 예측, 3D 부분 및 전체 물체의 재구성, 상자형 기하학적 원소 정규화를 통해 기하학적 타당성을 강제한다.
• 모델은 부분 또는 픽셀 수준의 밀도 높은 애너테이션 없이도 기능 집합 지도 학습과 기하학적 제약 조건에만 의존한다.
• 다양한 기능 조합에서 유도된 대비 학습을 통해, 기능 레이블과 추상화된 3D 부분 간의 대응 관계를 엔드 투 엔드 학습으로 학습한다.
• 슬롯 수는 각 물체 카테고리당 기능 레이블의 최대 수로 설정되어 슬롯-기능 매칭의 모호성을 줄인다.
• 데이터 증강을 적용하여 기능 조합의 다양성을 증가시켜 대비 학습과 모델 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 밀도 높은 지도 학습 없이도 오직 물체 수준의 기능 레이블과 기하학적 사전 지식만을 사용하여 의미 있는 3D 부분 수준 기능을 탐색할 수 있는가?
• RQ2 모델은 부분이 모호하거나 형태 변화가 큰 경우나 새로운 카테고리에 속하는 어려운 예제에 대해 얼마나 효과적으로 일반화하는가?
• RQ3 기하학적 원소 정규화와 슬롯-어텐션 추상화가 부분 탐색 및 기능 예측 성능 향상에 기여하는 정도는 어떠한가?
• RQ4 데이터 증강은 모델이 분리된 기능-부분 대응 관계를 학습하는 데 어떤 영향을 미치는가?
• RQ5 작은 부분, 복잡한 부분 또는 기능적으로 모호한 부분(예: 손잡이, 조명 장치 등)과 연결된 기능을 탐색하는 데서 모델의 한계는 무엇인가?

주요 결과

• 제안된 방법은 오직 물체 수준의 기능 레이블과 기하학적 제약 조건만을 사용하여 부분 수준 기능을 성공적으로 탐색하고 3D 부분을 재구성하며, 교차 카테고리 예제에 대해 강력한 제로샷 일반화 성능을 보였다.
• 재구성 성능이 완벽하지 않더라도 마이크로파이브(열리는 형식)나 미세한 부분을 가진 물체와 같은 어려운 물체에 대해서도 모델은 잘 일반화된다.
• 절단 분석 결과 슬롯-어텐션 인코더와 기하학적 정규화가 포함된 다중 분지 디코더가 성능 향상에 필수적임을 확인하였으며, 특히 형태의 타당성 향상에 뚜렷한 기여를 하였다.
• 데이터 증강은 다양한 기능 조합을 통해 대비 신호를 증가시켜 학습 효율성과 모델 성능을 크게 향상시켰다.
• 실패 사례는 주로 미세한 형태 재구성의 어려움과 상자형 가정 위반으로 인해 발생하며, 특히 작은 부분(예: 손잡이)에서 두드러진다.
• 동일한 기능이 여러 슬롯에 할당되는 경우에도 모델은 기능을 부분에 할당하는 법을 학습하지만, 과도한 슬롯 수는 'null' 슬롯 할당을 유도하여 모호성에 주목하는 경향을 보였다.