[논문 리뷰] Quad-networks: unsupervised learning to rank for interest point detection

Nikolay Savinov, Akihito Seki외 3명|arXiv (Cornell University)|2016. 11. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 인간 레이블이 없는 상황에서 변환에 불변하는 방식으로 이미지 점들을 순서 매기는 데에 초점을 맞춘 비지도 학습 딥러닝 방법인 Quad-networks를 제안한다. 이 방법은 순서 매김의 상위/하위 퍼센트 기반으로 반복 가능한 관심점으로 활용된다. 이 방법은 인간 레이블이 없는 표준 RGB 및 크로스모달 RGB/깊이 관심점 검출에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Several machine learning tasks require to represent the data using only a sparse set of interest points. An ideal detector is able to find the corresponding interest points even if the data undergo a transformation typical for a given domain. Since the task is of high practical interest in computer vision, many hand-crafted solutions were proposed. In this paper, we ask a fundamental question: can we learn such detectors from scratch? Since it is often unclear what points are "interesting", human labelling cannot be used to find a truly unbiased solution. Therefore, the task requires an unsupervised formulation. We are the first to propose such a formulation: training a neural network to rank points in a transformation-invariant manner. Interest points are then extracted from the top/bottom quantiles of this ranking. We validate our approach on two tasks: standard RGB image interest point detection and challenging cross-modal interest point detection between RGB and depth images. We quantitatively show that our unsupervised method performs better or on-par with baselines.

연구 동기 및 목표

• 인간 레이블이 없는 상황에서 관심점 검출기를 학습하는 데 도전하는 것. 레이블링이 모호하고 비용이 많이 들기 때문이다.
• 수동으로 설계된 또는 지도 학습 기반의 기준에 의존하지 않고, 데이터만으로 검출기 행동을 학습하는 진정한 비지도 방법을 개발하는 것.
• 예상치 못한 히어리스틱이 실패하는 어려운 크로스모달 환경(예: RGB와 깊이 이미지 매칭)에서도 강건한 관심점 검출을 가능하게 하는 것.
• 관심점 검출을 비지도 학습-순서 매김 문제로 재정의하여 기하학적 및 광학적 변환에 대해 반복성을 최적화하는 것.
• 지식 기반 레이블이 없더라도 학습된 순서 매김 함수가 고급 반복 가능한 관심점들을 생성할 수 있음을 입증하는 것.

제안 방법

• 모든 공간 위치에 대해 실수 값을 할당하는 딥 네트워크를 훈련시켜 각 이미지 점에 대한 순서 매김을 형성한다.
• 대조 손실을 최적화하여 변환 유형(예: 시점, 조명 변화 등)에 대해 점 간 상대적 순서 매김이 불변하도록 한다.
• 무작위 왜곡(예: 투영, 애핀, 블러, JPEG 압축)을 통한 데이터 증강을 활용하여 변환에 대한 불변성을 강제한다.
• 학습된 변환 불변성에 기반해 자연스럽게 반복 가능한 상위 및 하위 퍼센트 응답 맵을 기반으로 관심점 추출한다.
• 같은 프레임워크를 크로스모달 설정에 적용하기 위해 RGB 및 깊이 이미지 쌍으로 훈련하여 다중 모odal 간 공유 순서 매김 함수를 학습한다.
• 딥 컨volution 및 완전 연결 네트워크 아키텍처를 사용하며 배치 정규화와 ReLU 활성화 함수를 적용해 국소 및 전역 이미지 패턴을 모델링한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 인간 레이블이 전혀 없는 상황에서 반복 가능한 관심점 검출을 학습할 수 있는가?
• RQ2 자기 지도 학습만으로도 다양한 이미지 변환(예: 투영, 블러, JPEG)에 일반화되는 검출기를 훈련시킬 수 있는가?
• RQ3 동일한 비지도 순서 매김 프레임워크를 RGB와 깊이 이미지 간 크로스모달 검출에 성공적으로 적용할 수 있는가?
• RQ4 DoG와 같은 수작업 기반 검출기와 비교했을 때, 비지도 검출기의 반복성 및 강건성은 어떠한가?
• RQ5 학습된 필터와 검출 패tern을 통해 지도 학습 없이도 의미 있는 특징 표현(예: 에지, 블롭 등)을 학습할 수 있는가?

주요 결과

• 제안된 비지도 Quad-networks 방법은 다양한 데이터셋과 변환 유형에서 표준 RGB 이미지 검출에서 DoG와 비교해 높거나 유사한 반복성을 달성한다.
• 옥스포드 VGG 데이터셋에서 대규모 왜곡(WarpL)을 적용한 방법은 루벤 시퀀스에서 3000개의 점에서 67%의 반복성을 기록했으며, DoG의 51%를 상회한다.
• NYUv2에서의 크로스모달 RGB/깊이 검출에서는 딥 컨volution Quad-network가 DoG보다 훨씬 더 높은 반복성을 기록했으며, 깊이 맵의 낮은 무늬로 인해 DoG가 어려움을 겪었던 점을 감안할 때 뚜렷한 우수성을 보였다.
• 딥 네트워크의 첫 번째 레이어에서 학습된 필터는 에지 유사, 블롭 유사, 고주파 패턴을 띠어 지도 없이도 의미 있는 특징 학습이 이루어졌음을 시사한다.
• 이 방법은 블러, JPEG 압축, 시점 변화 등 다양한 변환에 대해 강건했으며, 대부분의 설정에서 DoG보다 반복성이 지속적으로 향상되었다.
• 응답 맵의 상위 및 하위 퍼센트는 안정적이고 반복 가능한 관심점들을 생성했으며, 이는 순서 매김 기반 접근법의 효과성을 확인한다.