[논문 리뷰] SeeThrough: Finding Chairs in Heavily Occluded Indoor Scene Images

Moos Hueting, Pradyumna Reddy외 4명|arXiv (Cornell University)|2017. 10. 28.

3D Surveying and Cultural Heritage인용 수 10

한 줄 요약

SeeThrough는 대규모 3D 시점 데이터베이스에서 유도된 공존 통계를 활용하여 2D 키포인트 검출과 3D 후보 생성, 반복적 보완을 결합함으로써 단일 RGB 실내 이미지에서 부분적으로 가림된 의자를 감지하기 위한 3D 시점 인식 기반 방법을 제안한다. 중간에서 무거운 가림 상황에서 기존 최고 수준의 방법들보다 뚜렷하게 뛰어난 성능을 보이며, 특히 약하게 보이는 물체에 대해 재현율과 정밀도가 높다.

ABSTRACT

Discovering 3D arrangements of objects from single indoor images is important given its many applications including interior design, content creation, etc. Although heavily researched in the recent years, existing approaches break down under medium or heavy occlusion as the core object detection module starts failing in absence of directly visible cues. Instead, we take into account holistic contextual 3D information, exploiting the fact that objects in indoor scenes co-occur mostly in typical near-regular configurations. First, we use a neural network trained on real indoor annotated images to extract 2D keypoints, and feed them to a 3D candidate object generation stage. Then, we solve a global selection problem among these 3D candidates using pairwise co-occurrence statistics discovered from a large 3D scene database. We iterate the process allowing for candidates with low keypoint response to be incrementally detected based on the location of the already discovered nearby objects. Focusing on chairs, we demonstrate significant performance improvement over combinations of state-of-the-art methods, especially for scenes with moderately to severely occluded objects.

연구 동기 및 목표

• 기존의 물체 감지 기법이 보이는 단서가 부족한 탓에 실패하는 단일 실내 RGB 이미지에서 부분적으로 가려진 의자를 감지하는 데 도전하는 것.
• 이미지 공간 특징에만 의존하지 않고 전체 3D 시점 수준의 맥락적 사전 지식을 활용하여 중간에서 무거운 가림 상황에서도 감지 성능을 향상시키는 것.
• 3D 시점에서의 물체 공존 통계가 누락되거나 가려진 물체 인스턴스를 복구하는 데 효과적인 사전 지식이 될 수 있음을 입증하는 것.
• 이미 감지된 물체를 이용한 반복적 보완이 약하게 보이거나 심하게 가려진 물체의 감지를 향상시킬 수 있음을 보여주는 것.
• 부분적으로 가려진 의자를 라벨링한 새로운 데이터셋을 제시하고, 이를 기반으로 최고 수준의 기준 방법들과의 성능 비교를 수행하는 것.

제안 방법

• 실제 실내 이미지에서 훈련된 딥 네트워크가 부분적으로 가려진 의자에서도 2D 키포인트를 예측한다.
• 키포인트가 3D 공간으로 변환되어 의자에 대한 후보 3D 물체 구성표를 생성한다.
• 대규모 합성 3D 시점 데이터베이스에서 유도된 쌍별 공존 통계를 사용하여 전역 선택 과정이 수행되어 가장 타당한 3D 물체 구성표를 평가하고 선택한다.
• 감지 및 선택 단계를 반복적으로 수행함으로써 이전에 감지된 물체들이 주변에서 반응이 낮은(가려진) 후보들을 강화하여 감지할 수 있도록 한다.
• 키포인트 기반 감지와 시점 수준의 맥락을 융합하여 가림 상황에서도 강건한 성능을 확보하며, 직접적인 이미지 공간 세그멘테이션에 의존하지 않는다.
• 시스템은 유일하게 실제 데이터로 훈련되며, 합성 데이터는 일반화 성능을 떨어뜨려 실제 데이터 미세조정이 합성 사전 훈련보다 더 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 3D 시점 수준의 공존 통계가 단일 RGB 이미지에서 부분적으로 가려진 의자를 감지하는 데 도움이 될 수 있는가?
• RQ2 이미 감지된 물체를 활용한 반복적 보완이 약하게 보이거나 심하게 가려진 의자를 감지하는 데 효과적인가?
• RQ3 다양한 수준의 가림 상황에서 제안된 방법의 성능가 최고 수준의 방법들과 비교해 볼 때 어떻게 되는가?
• RQ4 시점 수준의 맥락과 3D 사전 지식이 얼마나 효과적으로 가려진 상황에서 잡음 감소와 재현율 향상에 기여하는가?
• RQ5 학습 데이터가 제한되거나 합성 데이터에 의존할 경우, 3D 맥락과 키포인트 기반 감지 기반의 방법이 종합적 학습 접근법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• IoU 및 각도 임계값에 관계없이 LocAng 지표에서 SeeThrough는 기준 방법들보다 유의미하게 높은 F1 점수를 기록하며, 특히 높은 가림 상황에서 두드러진 성능을 보였다.
• 중간에서 무거운 가림 상황에서 SeeThrough는 높은 감지율을 유지하는 반면, 기준 방법들은 급격히 성능이 떨어지며, 이는 가림에 대한 강건성을 입증한다.
• 제거 실험 결과, 쌍별 공존 비용을 비활성화하면 정밀도가 떨어지고, 반복 단계를 비활성화하면 재현율이 감소함으로써 두 구성 요소가 최적 성능을 내기 위해 필수적임을 입증했다.
• SeeThrough의 전체 파이프라인은 단일 반복 및 맥락 없음 버전보다 가장 높은 IoU2D F1 및 LocAng F1 점수를 기록하며 최고의 성능을 달성했다.
• 키포인트 네트워크를 합성 데이터로 사전 훈련하는 대신 실제 데이터만으로 훈련한 결과 더 뛰어난 성능을 기록했으며, 이는 실제 세계의 시각 패턴이 일반화에 매우 중요함을 시사한다.
• 근처에 잘 보이는 물체들로부터의 맥락적 단서를 활용하여 반응이 낮은 키포인트를 가진 의자를 성공적으로 감지함으로써, 부분적으로 가려진 상황에서도 효과적인 추론 능력을 입증했다.