[논문 리뷰] 3D AffordanceNet: A Benchmark for Visual Object Affordance Understanding

Shengheng Deng, Xun Xu외 3명|arXiv (Cornell University)|2021. 03. 30.

Advanced Vision and Imaging참고 문헌 32인용 수 4

한 줄 요약

이 논문은 23개의 카테고리에 속하는 22,949개의 3D 형태를 포함하는 대규모 벤치마크인 3D AffordanceNet을 소개한다. 이는 희소 키포인트에서 유도된 레이블 전파를 통해 18종류의 시각적 기능 유형으로 레이블링되어 있으며, 이는 전형적 형태, 부분 시야, 회전 불변 기능 추정이라는 세 가지 새로운 작업을 가능하게 한다. 이는 점군 네트워크를 사용하여 최신 기술 수준의 성능을 보이며, 단지 1%의 레이블 데이터만을 사용함으로써 준지도 학습이 결과를 크게 향상시킨다는 것을 보여준다.

ABSTRACT

The ability to understand the ways to interact with objects from visual cues, a.k.a. visual affordance, is essential to vision-guided robotic research. This involves categorizing, segmenting and reasoning of visual affordance. Relevant studies in 2D and 2.5D image domains have been made previously, however, a truly functional understanding of object affordance requires learning and prediction in the 3D physical domain, which is still absent in the community. In this work, we present a 3D AffordanceNet dataset, a benchmark of 23k shapes from 23 semantic object categories, annotated with 18 visual affordance categories. Based on this dataset, we provide three benchmarking tasks for evaluating visual affordance understanding, including full-shape, partial-view and rotation-invariant affordance estimations. Three state-of-the-art point cloud deep learning networks are evaluated on all tasks. In addition we also investigate a semi-supervised learning setup to explore the possibility to benefit from unlabeled data. Comprehensive results on our contributed dataset show the promise of visual affordance understanding as a valuable yet challenging benchmark.

연구 동기 및 목표

• 기존의 2D 및 2.5D 데이터셋에서 기하학적 세부 정보가 부족한 문제를 해결하기 위해, 시각적 기능 이해를 위한 대규모 고품질 3D 벤치마크를 구축하는 것.
• 희소 인간 레이블링 키포인트에서 유도된 확률적이고 점별 스코어를 사용하여, 23개의 의미적 물체 카테고리에 대해 18종류의 시각적 기능 카테고리를 정의하고 레이블링하는 것.
• 실제 3D 점군 데이터를 기반으로 한 세 가지 새로운 벤치마크 작업—전체 형태, 부분 시야, 회전 불변 기능 추정—을 제안하고 평가하는 것.
• 이러한 작업들에 대해 최신 기술 수준의 점군 네트워크를 평가하고, 레이블링 비용을 줄이기 위해 준지도 학습의 잠재력을 탐색하는 것.
• 표준화되고 확장 가능하며 현실적인 벤치마크를 제공함으로써 향후 3D 시각적 기능 이해 분야의 연구를 촉진하는 것.

제안 방법

• 데이터셋은 23개의 의미적 카테고리에서 23,000개 이상의 형태를 포함하는 PartNet 3D CAD 데이터셋에서 유도되었다. 이는 18종류의 기능 유형에 대해 레이블링되었다.
• 기능 레이블링은 먼저 물체 표면에 희소 키포인트를 레이블링한 후, 레이블 전파 방법을 사용하여 조밀한 점군에 레이블을 전파함으로써 생성된다.
• 벤치마크는 세 가지 평가 작업을 지원한다: 전체 형태(전체 형태 입력), 부분 시야(부분 점군 입력), 회전 불변(임의의 방향으로 회전된 입력) 기능 추정.
• 표준 평가 지표인 평균 교차율(mIoU), 다이스 계수, 정확도를 사용하여, 세 가지 최신 기술 수준의 점군 네트워크(DGCNN 등)가 모든 작업에서 평가된다.
• 가상의 적대적 훈련(VAT)을 사용한 준지도 학습 설정을 도입하여, 1%의 데이터만을 레이블링하고 나머지는 비레이블 데이터로 사용하여 일반화 성능을 향상시킨다.
• 손실 함수는 원본 입력과 적대적 변형된 입력에 대한 예측 간의 일致성을 강제하기 위해 교차 엔트로피, 다이스 손실, 그리고 평균 제곱 오차를 조합한다.

실험 결과

연구 질문

• RQ1 확률적 기능 레이블링이 있는 대규모 3D 점군 기반 벤치마크가 시각적 기능 이해 모델의 평가 및 개발을 향상시킬 수 있는가?
• RQ2 최신 기술 수준의 점군 네트워크는 현실적인 3D 환경에서 전체 형태, 부분 시야, 회전 불변 기능 추정 작업에서 어떻게 성능을 내는가?
• RQ3 최소한의 레이블 데이터만을 사용하는 준지도 학습이 3D 형태의 기능 추정 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 특정 기능 카테고리(예: 저장 가구에서의 '내용물 수용')는 왜 임의의 회전 조건에서도 예측이 어려운가?
• RQ5 희소 인간 레이블링에서 유도된 레이블 전파가 스케일에 맞게 신뢰할 수 있는 조밀한 기능 예측을 생성할 수 있는가?

주요 결과

• 3D AffordanceNet 벤치마크는 22,949개의 3D 형태에 걸쳐 56,307개의 잘 정의된 기능 레이블링을 포함하며, 3D에서 확률적이고 점별 기능 스코어를 가진 첫 번째 대규모 데이터셋이다.
• VAT를 사용한 준지도 학습 기능 추정은 모든 평가 지표에서 레이블이 1%뿐인 완전히 지도 학습보다 뛰어난 성능을 보이며, 비레이블 데이터의 가치를 입증한다.
• 회전 불변 작업은 여전히 매우 도전적인데, 특히 저장 가구와 같은 복잡한 형태에서는 오목한 기하학적 구조로 인해 '내용물 수용' 기능이 자주 누락된다.
• 전체 형태 및 부분 시야 작업은 대부분의 기능 유형에서 뛰어난 성능를 보이지만, '열기' 및 '倒기' 기능은 핵심 구조 부위가 가림을 당할 경우 여전히 어려움을 겪는다.
• 희소 키포인트에서 유도된 레이블 전파가 스케일에 맞게 고품질의 조밀한 기능 레이블링을 성공적으로 생성하여, 비용 효율적이고 확장 가능한 데이터셋 구축을 가능하게 한다.
• 결과는 3D 기하학적 구조가 기능 이해에 매우 중요하며, 현재의 모델들이 미세한, 맥락 의존적인 상호작용을 여전히 어려워하고 있음을 확인한다.