[논문 리뷰] Inverting and Visualizing Features for Object Detection

Carl Vondrick, Aditya Khosla외 2명|arXiv (Cornell University)|2012. 12. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 13

한 줄 요약

이 논문은 객체 검출에 사용되는 HOG 특징을 뒤집고 시각화하는 새로운 방법을 제안하여, 연구자들이 검출기가 인식하는 세계를 '보는 것'을 가능하게 한다. HOG 기술자에서 자연 이미지를 재구성함으로써, 저자들은 잘못된 양성 결과가 종종 특징 공간 내에서 타당한 객체로 나타남을 드러내며, 이는 많은 검출 실패의 원인이 학습 알고리즘이나 데이터가 아니라 특징 공간의 한계에 있음을 시사한다.

ABSTRACT

We introduce algorithms to visualize feature spaces used by object detectors. The tools in this paper allow a human to put on `HOG goggles' and perceive the visual world as a HOG based object detector sees it. We found that these visualizations allow us to analyze object detection systems in new ways and gain new insight into the detector's failures. For example, when we visualize the features for high scoring false alarms, we discovered that, although they are clearly wrong in image space, they do look deceptively similar to true positives in feature space. This result suggests that many of these false alarms are caused by our choice of feature space, and indicates that creating a better learning algorithm or building bigger datasets is unlikely to correct these errors. By visualizing feature spaces, we can gain a more intuitive understanding of our detection systems.

연구 동기 및 목표

• 객체 검출에 사용되는 고차원 HOG 특징 공간을 직관적이고 시각적으로 정확하게 시각화하는 것을 목적으로 한다.
• 재구성된 특징의 외관을 분석함으로써 객체 검출기가 잘못된 양성 결과를 내는 이유를 진단하는 것을 목적으로 한다.
• 인간이 HOG 시각화 결과를 분류하는 성능과 검출기 성능을 비교함으로써, HOG 특징이 객체 검출 성능의 근본적 한계 요소인지 평가하는 것을 목적으로 한다.
• HOG를 초월해 객체 검출 특징을 시각화하고 해석하는 데 사용할 수 있는 일반 목적의 상호작용 도구상자를 구축하는 것을 목적으로 한다.

제안 방법

• 최적화 및 딥러닝 기법을 활용해 HOG 기술자를 자연 이미지로 다시 매핑하는 네 가지 특징 역전환 알고리즘을 제안한다.
• 학습된 생성 모델을 사용해 HOG 특징을 시각적으로 현실적인 이미지로 역전환함으로써 특징 공간의 직관적 해석을 가능하게 한다.
• 변형 가능한 부분 모델(DPM)의 상위 검출 결과, 루트 템플릿, 부분 검출기 등을 역전환하여 시각화한다.
• 참가자가 HOG 시각화 결과를 분류하도록 하는 인간 실험을 수행하여 HOG 특징의 분류 능력을 평가한다.
• 시각적 평가와 자동 기준 평가를 통해 기존의 HOG 기호 시각화 방식과의 품질을 비교한다.
• 연구자들이 객체 검출 특징을 상호작용적으로 시각화하고 디버깅할 수 있도록 공개 온라인 도구상자를 구축한다.

실험 결과

연구 질문

• RQ1 고점수를 기록한 잘못된 양성 결과(예: 자동차로 잘못 분류된 호수)가 HOG 기술자에서 재구성되었을 때 시각적으로 타당하게 보일 정도로 유사한가?
• RQ2 인간 관찰자가 HOG 기술자 시각화 결과만을 근거로 객체를 분류할 때, 최첨단 검출기(DPM 등)보다 더 나은 성능을 내는가?
• RQ3 인간이 HOG 시각화 결과를 분류하는 성능과 원본 RGB 패치를 분류하는 성능 간 격차를 측정함으로써, HOG 기술자 표현에서 얼마나 많은 정보가 손실되는가?
• RQ4 학습된 검출기 구성 요소(예: 루트 및 부분 템플릿)의 시각화 결과는 표준 HOG 기호에서는 드러나지 않는 의미 있는 구조적 세부 정보를 드러내는가?
• RQ5 HOG 기술자 공간이 검출기 성능을 본질적으로 제한하고 있는가, 아니면 더 나은 학습 알고리즘이 그 결함을 보완할 수 있는가?

주요 결과

• 고점수를 기록한 잘못된 양성 결과(예: 자동차로 잘못 분류된 호수)는 HOG 기술자 공간 내에서 시각적으로 타당하게 보이며, 이는 오류의 근본 원인이 학습 알고리즘이 아니라 특징 표현 방식에 있음을 시사한다.
• 인간 참가자들은 자동차 및 의자 검출에서 DPM 성능과 유사하거나 그 이상의 정확도로 HOG 시각화 결과를 분류할 수 있었으며, 이는 HOG 특징이 이 카테고리에 대해 성능 한계에 근접해 있음을 시사한다.
• 인간은 사람 검출에서 DPM보다 略적으로 낮은 성능을 보였는데, 이는 인간이 추상적인 그림에서 타당한 인간형을 유추할 수 있는 능력 덕분에 발생한 편향을 반영한다.
• 인간이 HOG 시각화 결과를 분류하는 성능와 원본 RGB 패치를 분류하는 성능 간 격차는 HOG 기술자 표현에서 중요한 분류 정보가 손실됨을 증명한다.
• 학습된 검출기 구성 요소(예: 루트 및 부분 템플릿)의 시각화 결과는 표준 HOG 기호에서는 드러나지 않는 세부적인 구조적 패턴을 드러내며, 검출기 행동에 대한 새로운 통찰을 제공한다.
• 본 연구는 향후 객체 검출 성능 향상이 더 나은 학습 알고리즘이나 더 큰 데이터셋에 기반할 것이 아니라, 더 풍부하고 표현력이 풍부한 특징 공간 설계에 기반할 것임을 시사한다.