[논문 리뷰] 4D Unsupervised Object Discovery

Yuqi Wang, Yuntao Chen외 1명|arXiv (Cornell University)|2022. 10. 10.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 인간의 레이블 없이 시간 데이터를 활용하여 RGB 이미지에서 2D 객체를 동시에 탐지하고 LiDAR 포인트 클라우드에서 3D 인스턴스를 탐지하는 4차원 비지도 객체 탐지라는 새로운 작업을 소개한다. Waymo Open Dataset에서 완전 지도 학습 방법과 경쟁 가능한 성능을 달성하기 위해, 3D ClusterNet과 2D 로컬라이제이션 네트워크 간의 공동 반복 최적화를 제안한다. 이는 공간-시간 일관성과 운동 신호를 활용한다.

ABSTRACT

Object discovery is a core task in computer vision. While fast progresses have been made in supervised object detection, its unsupervised counterpart remains largely unexplored. With the growth of data volume, the expensive cost of annotations is the major limitation hindering further study. Therefore, discovering objects without annotations has great significance. However, this task seems impractical on still-image or point cloud alone due to the lack of discriminative information. Previous studies underlook the crucial temporal information and constraints naturally behind multi-modal inputs. In this paper, we propose 4D unsupervised object discovery, jointly discovering objects from 4D data -- 3D point clouds and 2D RGB images with temporal information. We present the first practical approach for this task by proposing a ClusterNet on 3D point clouds, which is jointly iteratively optimized with a 2D localization network. Extensive experiments on the large-scale Waymo Open Dataset suggest that the localization network and ClusterNet achieve competitive performance on both class-agnostic 2D object detection and 3D instance segmentation, bridging the gap between unsupervised methods and full supervised ones. Codes and models will be made available at https://github.com/Robertwyq/LSMOL.

연구 동기 및 목표

• 3D 및 2D 객체 탐지에서 높은 수준의 수동 레이블 비용 문제를 해결하기 위해, 복잡한 환경에서 비지도 탐지 기반의 객체 탐지를 가능하게 하기 위해.
• 다중 모odal 4D 데이터(RGB 이미지 및 3D 포인트 클라우드)의 잠재된 시간 정보를 비지도 객체 탐지에 효과적으로 활용할 수 있는 잠재력을 탐색하기 위해.
• 2D 이미지와 3D 포인트 클라우드 간의 상보적 신호를 활용하여 비지도 및 완전 지도 학습 간의 성능 격차를 줄이기 위해.
• 사람이 레이블링한 바운딩 박스 없이도 2D 로컬라이제이션과 3D 인스턴스 세그멘테이션을 공동으로 최적화할 수 있는 실용적이고 종단 간(end-to-end) 프레임워크를 개발하기 위해.

제안 방법

• 연속된 포인트 클라우드에서의 운동 신호를 활용해 장면 플로우를 추정함으로써, 초기에 운동 신호를 사용해 훈련된 3D 인스턴스 세그멘테이션을 위한 ClusterNet을 제안한다.
• 3D 인스턴스 세그먼트를 투영하여 생성된 가짜 레이블(pseudo-labels)을 사용해 훈련하는 클래스 무관 객체 탐지용 2D 로컬라이제이션 네트워크를 도입한다.
• 공동 반복 최적화를 적용: 각 반복 단계에서 3D 투영을 이용해 2D 로컬라이제이션 네트워크를 개선하고, 2D 탐지 결과를 이용해 3D ClusterNet을 향상시킨다.
• 연속 프레임 간의 공간-시간 일관성을 제약 조건으로 활용하여, 두 모odal 모두에서 가짜 레이블의 신뢰도를 높이고 노이즈를 감소시킨다.
• 초기 훈련 단계에서 정적 물체로 인한 오소거(false negative)를 줄이기 위해 조기 정지 및 적응형 앵커 샘플링 전략을 적용한다.
• 임의의 3D 인스턴스를 걸러내기 위해 최소 포인트 수 기준(기본값 5)을 적용하여 세그멘테이션 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 RGB 이미지와 3D 포인트 클라우드로 구성된 4D 데이터(시간적 순서가 있는 시퀀스)는 수동 레이블 없이도 비지도 객체 탐지를 가능하게 할 수 있는가?
• RQ2 2D 이미지(색상, 텍스처)와 3D 포인트 클라우드(공간 정밀도) 간의 상보적 정보를 비지도 학습에서 효과적으로 활용할 수 있는가?
• RQ3 프레임 간의 시간적 일관성이 비지도 2D 및 3D 탐지에서 가짜 레이블의 신뢰도를 어느 정도 향상시킬 수 있는가?
• RQ4 2D 및 3D 네트워크 간의 공동 반복 최적화는 단일 모odal 비지도 방법에 비해 성능을 크게 향상시킬 수 있는가?
• RQ5 제한된 레이블만 존재할 경우, 제안된 방법은 지도 학습 기반 모델과 어떻게 비교되는가?

주요 결과

• 제안된 4D 비지도 객체 탐지 프레임워크는 Waymo Open Dataset에서 2D 객체 탐지 AP 43.2%와 3D 인스턴스 세그멘테이션 AP 26.2%를 달성하여 최신 비지도 방법들을 능가한다.
• 공동 반복 최적화로 인해 성능 향상이 급격히 이루어지며, 3회의 반복 동안 2D AP는 30.0%에서 43.2%로, 3D AP는 20.2%에서 26.2%로 상승한다.
• 훈련 중에 인간 레이블이 전혀 사용되지 않았음에도 불구하고, 전체 레이블이 있는 완전 지도 학습 모델과 비교해 유사한 성능을 달성한다.
• 조기 정지는 노이즈가 많은 가짜 레이블에 대한 과적합을 방지하여 일반화 성능을 향상시키며, 최적 반복 수를 초과해 훈련을 계속할 경우 성능 저하가 발생한다.
• 3D 인스턴스에 대해 최소 포인트 수 기준 5를 적용할 경우 3D AP가 최고 수준(26.2%)을 기록하며, 낮은 밀도의 세그먼트를 걸러내는 것이 세그멘테이션 품질 향상에 기여함을 보여준다.
• 이 방법은 이동 가능한 물체(예: 차량, 보행자)에 대해 효과적이지만, 의자나 침대와 같은 정적 물체는 운동 신호가 없어 탐지하지 못한다.