[논문 리뷰] Unsupervised Object Discovery and Segmentation of RGBD-images

Johan Ekekrantz, Nils Bore외 3명|arXiv (Cornell University)|2017. 10. 18.

Industrial Vision Systems and Defect Detection참고 문헌 23인용 수 7

한 줄 요약

이 논문은 통계적 인lier 추정(Statistical Inlier Estimation, SIE) 알고리즘을 사용하여 음영 모델링를 통한 확률적 변화 탐지 방식을 활용해, 센서 노이즈를 자동으로 학습하고 동적 영역을 탐지하는 비지도 RGBD 객체 탐지 및 분할 시스템을 제안한다. 이 방법은 이동하는 영역을 필터링하고 그래프 컷 최적화를 적용하여 수동으로 조정된 파rameter 없이 일관된 객체 분할을 수행함으로써 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we introduce a system for unsupervised object discovery and segmentation of RGBD-images. The system models the sensor noise directly from data, allowing accurate segmentation without sensor specific hand tuning of measurement noise models making use of the recently introduced Statistical Inlier Estimation (SIE) method. Through a fully probabilistic formulation, the system is able to apply probabilistic inference, enabling reliable segmentation in previously challenging scenarios. In addition, we introduce new methods for filtering out false positives, significantly improving the signal to noise ratio. We show that the system significantly outperform state-of-the-art in on a challenging real-world dataset.

연구 동기 및 목표

• 사전 애너테이션이나 객체별 훈련이 없는 RGBD 이미지에서 새로운 객체를 탐지하고 분할하는 문제에 대응한다.
• 감독 학습 방법의 한계를 극복하기 위해 동적인 실내 환경에서 비지도 탐지가 가능하도록 한다.
• SIE를 사용해 데이터에서 직접 측정 불확실성을 학습함으로써 수동으로 조정된 센서 노이즈 모델에 대한 의존도를 줄인다.
• 사람이나 동적 물체와 같은 움직이는 또는 일시적인 요소로 인한 잘못된 검출을 제거함으로써 복잡한 환경에서의 분할 신뢰도를 향상시킨다.
• 다중 프레임에 걸쳐 가능한 표면 구성에 대한 마진화를 통해 종단 간 확률적 추론을 가능하게 하여 강력한 객체 탐지 성능을 확보한다.

제안 방법

• 통계적 인lier 추정(Statistical Inlier Estimation, SIE)을 사용하여 센서 노이즈를 모델링하고, 색상 및 깊이 잔차를 기반으로 인접 픽셀이 서로 다른 표면에 속할 가능성을 계산한다.
• 색상 잔차 $ R_{\text{C}}(a,b) $ 를 인접 픽셀 간 RGB 값의 3차원 절대 차이로 정의한 후, SIE를 사용하여 $ P(a \neq b | a_{\text{C}} \neq b_{\text{C}}) $ 를 계산해 에지 가능성도를 추정한다.
• 깊이 잔차 $ R_{\text{Z}}(a,b) $ 를 절대 범위 차이와 두 번째 차수 기울기 예측 오차 중 최소값으로 정의하고, 예측된 노이즈 분산으로 스케일링한다.
• 색상 및 깊이 에지 가능성도를 $ P(a=b|I) = P(a=b|R_{\text{Z}})P(a=b|R_{\text{C}}) $ 를 통해 조합하여 표면 연속성 정도를 추정한다.
• 다중 프레임에서의 추론을 효율적으로 수행하기 위해 그래프 컷 에너지 최소화를 활용한 레이지 최적화를 적용하여 일관된 변화 영역을 분할한다.
• 움직임 영역을 '움직이는'(현재 변화 중인)과 '이동된'(이전에 변화했지만 이제 정적인)으로 분류하고, '움직이는' 세그먼트를 필터링하여 잘못된 검출를 줄인다.

실험 결과

연구 질문

• RQ1 수동으로 조정된 센서 노이즈 모델에 의존하지 않고도 완전한 확률적 설정이 RGBD 이미지에서 강력한 객체 탐지 및 분할을 가능하게 할 수 있는가?
• RQ2 SIE가 RGBD 데이터에서 확률적 에지 탐지 및 변화 탐지에 얼마나 효과적으로 적용될 수 있는가? 이는 비지도 분할을 지원하는 데 기여하는가?
• RQ3 실세계 실내 환경에서 사람과 환경의 움직임으로 인한 '움직이는' 세그먼트를 제거함으로써 분할 정확도가 얼마나 향상되는가?
• RQ4 다중 프레임에 걸쳐 가능한 표면 구성에 대한 마진화가 추론의 안정성과 분할 품질을 향상시키는 데 기여하는가?
• RQ5 어떤 도전적인 실세계 RGBD 데이터셋에서 제안된 시스템이 최신 기술 수준의 방법들과 정량적으로 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• 이 시스템은 도전적인 실세계 RGBD 데이터셋에서 최신 기술 수준의 방법들을 뛰어넘는 성능을 보이며, 더 높은 분할 정확도와 강건성을 입증한다.
• SIE를 사용한 현장 센서 노이즈 모델링으로 인해 센서 특화 파라미터 조정이 필요 없어지며, 다양한 촬영 조건에서도 일반화 능력이 향상된다.
• '움직이는' 세그먼트(주로 사람, 반려동물, 동적 물체로 인한 것)를 제거함으로써 잘못된 검출가 줄어들고 객체 탐지에서 신호 대 노이즈 비율이 향상된다.
• 확률적 설정 덕분에 겹치는 물체와 센서 노이즈가 있는 복잡한 환경에서도 안정적인 추론이 가능하며, 이는 에지 탐지 및 분할 결과로 검증되었다.
• 커터, 마우스, 열쇠와 같은 작은, 이전에 본 적 없는 객체를 성공적으로 분할함으로써 새로운 객체 유형에 대한 강력한 일반화 능력을 보였다.
• SIE 기반 잔차 모델링을 통한 깊이 및 색상 에지 가능성도의 통합은 기존의 전통적 에지 탐지 방법보다 더 정확한 표면 경계 탐지 성능을 제공한다.