[논문 리뷰] Unsupervised Learning of Edges

Yin Li, Manohar Paluri외 2명|arXiv (Cornell University)|2015. 11. 13.

Advanced Neural Network Applications참고 문헌 36인용 수 7

한 줄 요약

이 논문은 인간이 레이블링한 에지 정보 없이, 영상 프레임 간의 반밀도 광학 흐름 매칭만을 사용하여 비지도 학습 방식으로 에지 검출기를 훈련시키는 방법을 제안한다. 움직임 추정과 에지 검출을 피드백 루프에서 반복적으로 개선함으로써, 이 방법은 완전히 지도 학습된 방법과 3–5% 이내의 성능을 달성하며, 움직임 신호만으로도 깊이 있는 에지 검출기를 효과적으로 사전 훈련시킬 수 있음을 보여준다. 이는 후속 객체 검출 작업에서 상당한 성능 향상을 이끌어낸다.

ABSTRACT

Data-driven approaches for edge detection have proven effective and achieve top results on modern benchmarks. However, all current data-driven edge detectors require manual supervision for training in the form of hand-labeled region segments or object boundaries. Specifically, human annotators mark semantically meaningful edges which are subsequently used for training. Is this form of strong, high-level supervision actually necessary to learn to accurately detect edges? In this work we present a simple yet effective approach for training edge detectors without human supervision. To this end we utilize motion, and more specifically, the only input to our method is noisy semi-dense matches between frames. We begin with only a rudimentary knowledge of edges (in the form of image gradients), and alternate between improving motion estimation and edge detection in turn. Using a large corpus of video data, we show that edge detectors trained using our unsupervised scheme approach the performance of the same methods trained with full supervision (within 3-5%). Finally, we show that when using a deep network for the edge detector, our approach provides a novel pre-training scheme for object detection.

연구 동기 및 목표

• 높은 성능의 에지 검출을 위해 강력한 인간 레이블 감독이 필수적인가를 조사하는 것.
• 영상에서의 움직임 신호를 활용하여 인간이 레이블링한 경계 없이도 에지 검출기를 훈련시키는 방법을 개발하는 것.
• 영상 데이터를 이용한 비지도 사전 훈련이 후속 작업(예: 객체 검출)에서 성능 향상에 기여하는가를 평가하는 것.
• 움직임 기반 에지가 고수준의 객체 수준 정보를 포괄할 수 있는가를 판단하는 것.

제안 방법

• 모든 인간 레이블링된 에지 없이, 영상 프레임 간의 반밀도 매칭만을 입력으로 사용한다.
• 현재의 에지 예측을 기반으로 광학 흐름을 개선하고, 움직임 기반 에지를 양성 신호로 사용하여 에지 검출기를 재학습하는 방식으로 번갈아가며 진행한다.
• 움직임 기반 에지—흐름 불연속성이 큰 위치—는 양성 학습 샘플로 사용되며, 비에지 영역에서 무작위로 샘플링한 데이터는 음성 예제로 활용된다.
• 대규모 영상 데이터 코퍼스를 활용해, 에지 검출과 광학 흐름 추정을 반복적으로 개선하는 과정을 거친다.
• 심층 신경망(Holistic Edge) 또는 구조적 랜덤 포레스트(Structured Edge)는 움직임 기반 지도 신호를 사용해 훈련된다.
• 에지의 희소성을 활용하여 음성 샘플링에서 잠재적 오소거를 최소화함으로써 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 영상에서의 움직임 신호만을 사용하여 인간이 레이블링한 경계 없이도 효과적인 에지 검출이 가능한가?
• RQ2 움직임 기반 에지로 훈련된 비지도 에지 검출기의 성능이 완전히 지도 학습된 기준 모델과 얼마나 유사한가?
• RQ3 영상 데이터를 이용한 비지도 사전 훈련이 후속 객체 검출 작업에서 성능 향상에 기여하는가?
• RQ4 비지도 방법이 이미지넷 사전 훈련 대비 고수준의 객체 수준 정보를 얼마나 잘 포착하는가?

주요 결과

• 영상 데이터를 기반으로 훈련된 비지도 에지 검출기는 표준 에지 검출 벤치마크에서 완전히 지도 학습된 기준 모델과 3–5% 이내의 성능를 달성한다.
• PASCAL VOC 2007에서 객체 검출 작업에 대해 미세조정한 비지도 사전 훈련된 Holistic Edge 네트워크는 ZF-Net 기반으로 58.6 mAP를 기록하여, 무작위 초기화에서 훈련한 경우(38.2 mAP)보다 뛰어난 성능를 보였다.
• 영상 데이터를 이용한 사전 훈련은 무작위 초기화 대비 약 3점의 mAP 향상을 이끌었지만, 이미지넷 사전 훈련(66.9 mAP)에는 여전히 뒤지지 않았다.
• 움직임 기반 에지는 인간 레이블 없이도 효과적인 자기지도 신호로 기능할 수 있음을 입증했다.
• 흐름 추정과 에지 검출 간의 반복 피드백 루프는 여러 훈련 반복 동안 양쪽 작업 모두에서 일관된 성능 향상을 이끌어냈다.
• 약한 에지나 노이즈가 많은 매칭을 다루는 데에는 한계가 있지만, 이 방법은 대규모 영상 데이터를 통해 강력한 비지도 사전 훈련이 가능함을 보여주었다.