[논문 리뷰] Seeing What Is Not There: Learning Context to Determine Where Objects Are Missing

Jin Sun, David W. Jacobs|arXiv (Cornell University)|2017. 02. 26.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 4

한 줄 요약

이 논문은 음영이 없는 객체가 존재하는 이미지에서 어디에 객체가 누락되어 있는지 탐지하기 위해 객체 중심의 맥락 표현을 학습하는 완전 컨볼루션 신경망을 제안한다. 음영 학습을 통해 객체를 무시하도록 훈련시킴으로써, 모델은 객체 위치를 예측하는 확률 히트맵을 생성하며, 거리 전경 이미지에서 누락된 보도 경사로 27%를 탐지하는 데 성공했으며, 높은 효율성과 맥락 외 객체 탐지에 대한 일반화 능력을 확보했다.

ABSTRACT

Most of computer vision focuses on what is in an image. We propose to train a standalone object-centric context representation to perform the opposite task: seeing what is not there. Given an image, our context model can predict where objects should exist, even when no object instances are present. Combined with object detection results, we can perform a novel vision task: finding where objects are missing in an image. Our model is based on a convolutional neural network structure. With a specially designed training strategy, the model learns to ignore objects and focus on context only. It is fully convolutional thus highly efficient. Experiments show the effectiveness of the proposed approach in one important accessibility task: finding city street regions where curb ramps are missing, which could help millions of people with mobility disabilities.

연구 동기 및 목표

• 정상 객체 인스턴스에 대해 훈련된 효율적이고 독립적인 맥락 모델을 개발하여, 이미지에 존재하지 않을 경우에도 객체가 있어야 할 위치를 예측하는 것.
• 기립성 장애가 있는 사람들을 위한 도시 스트리트 환경에서 누락된 보도 경사로를 식별하는 중요한 접근성 문제를 해결하는 것.
• 누락되거나 비정상적인 인스턴스의 레이블이 필요 없이 자동으로 누락된 객체를 탐지할 수 있도록 하는 것.
• 맥락 학습을 객체 탐지에서 분리하여, 표준 객체 탐지기와 맥락 모델을 새로운 작업에 재사용할 수 있도록 하는 것.

제안 방법

• 명시적인 객체 마스크가 있는 이미지에서 기초 컨볼루션 신경망을 훈련하여, 나머지 이미지 영역으로부터 맥락을 학습한다.
• 새로운 훈련 전략으로 음영 마스크 예측 헤드를 도입하여 네트워크가 객체를 무시하고 오직 맥락적 특징에 집중하도록 유도한다.
• 모델은 완전 컨볼루션 구조를 취하고 있어 전체 이미지에 걸쳐 확률 히트맵을 신속하고 효율적으로 생성할 수 있다.
• 맥락 점수 맵을 객체 탐지기 출력과 조합하여 객체가 누락된 영역(낮은 객체 점수, 높은 맥락 점수)을 식별한다.
• 훈련 중 하드 음성 마이닝을 적용하여 누락된 객체 영역의 국소화 정확도를 향상시킨다.
• 점수 임계값 설정 논리를 뒤집음으로써 이 방법을 맥락 외 객체 탐지에 적응시켰다.

실험 결과

연구 질문

• RQ1 정상 객체 인스턴스에 대해 훈련된 독립형 맥락 모델이 누락된 객체에 대한 명시적 애너테이션 없이도 이미지에서 객체가 누락된 위치를 탐지할 수 있는가?
• RQ2 음영 마스크 학습이 CNN이 객체를 무시하고 오직 맥락적 특징에 집중하도록 유도하는 데 얼마나 효과적인가?
• RQ3 모델 아키텍처(예: 완전 컨볼루션)가 누락된 객체 탐지에 있어 추론 속도와 국소화 정확도에 어떤 영향을 미치는가?
• RQ4 동일한 맥락 모델이 얼굴이 몸통 없이 존재하는 경우와 같이 맥락 외 객체를 일반화하여 탐지할 수 있는가?
• RQ5 대규모 도시 스트리트 뷰 데이터셋에 적용했을 때, 이 방법의 리콜과 효율성은 어떻게 스케일링되는가?

주요 결과

• 제안된 방법은 543개의 스트리트 뷰 교차로에서 진짜로 누락된 보도 경사로 영역의 27%를 탐지했으며, 오직 500개의 영역만 스캔하여도 전체 누락된 보도 경사로의 27%를 식별했다.
• 하드 음성 마이닝을 적용한 SFC(완전 컨볼루션) 네트워크는 랜덤 점수와 공간 우선 지도와 같은 베이스라인 방법보다 큰 격차로 승리했으며, 특히 작은 영역 크기에서 두드러진 성능을 보였다.
• SFC 네트워크는 다양한 영역 크기(100–400 픽셀)에서 일관된 성능을 유지했으며, 400px일 경우 평균 리콜이 21.8, 200px일 경우 24.1로 나타나 높은 국소화 정확도를 보였다.
• 시스템은 매우 효율적이며, 한 장의 이미지에 대해 맥락 맵 생성은 4초, 탐지에는 22초가 소요되어 도시 규모의 스캔을 수시간 내에 수행할 수 있었다.
• Wider Face 데이터셋에 대한 초보적 결과에서는 27개의 맥락 외 얼굴을 탐지했으며, 랜덤 점수 기반 탐지(14건)보다 뛰어난 성능을 보여 일반화 잠재력이 있음을 입증했다.
• 이 방법은 접근성 감사에 대해 확장 가능하고 저비용의 사전처리를 가능하게 하여, 수작업 레이블링의 필요성을 줄이고 물리적 점검을 위해 고영향도의 도시 교차로를 우선적으로 선정할 수 있도록 했다.