[논문 리뷰] Deep Multi-Modal Image Correspondence Learning

Chen Liu, Jiajun Wu외 2명|arXiv (Cornell University)|2016. 12. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 500만 장의 평면도와 8,000만 장의 실내 사진으로 구성된 대규모 데이터셋을 사용하여, 평면도(스타일리시한 건축도면)와 실내 사진(실제 촬영 사진)이라는 극명하게 다른 시각적 모odalities 간의 다중모odal 이미지 대응을 위한 딥 네트워크를 제안한다. 시아모닉 및 세트 기반 아키텍처를 포함한 모델들은 밸브나 세면대와 같은 주목할 만한 물체를 모달 간에 탐지하고 정렬함으로써 인간을 능가하는 정확도를 달성하며, 도전적인 다중모달 매칭 작업에서 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Inference of correspondences between images from different modalities is an extremely important perceptual ability that enables humans to understand and recognize cross-modal concepts. In this paper, we consider an instance of this problem that involves matching photographs of building interiors with their corresponding floorplan. This is a particularly challenging problem because a floorplan, as a stylized architectural drawing, is very different in appearance from a color photograph. Furthermore, individual photographs by themselves depict only a part of a floorplan (e.g., kitchen, bathroom, and living room). We propose the use of a number of different neural network architectures for this task, which are trained and evaluated on a novel large-scale dataset of 5 million floorplan images and 80 million associated photographs. Experimental evaluation reveals that our neural network architectures are able to identify visual cues that result in reliable matches across these two quite different modalities. In fact, the trained networks are able to even outperform human subjects in several challenging image matching problems. Our result implies that neural networks are effective at perceptual tasks that require long periods of reasoning even for humans to solve.

연구 동기 및 목표

• 평면도(스타일리시한 건축도면)와 실내 사진 간의 외관과 시점에서 크게 다름에도 불구하고 어려운 매칭 문제를 해결하기 위해.
• 부분적인 평면도 뷰만 존재하는 경우에도 극명하게 다른 시각적 모달 간에서 추론이 가능한 딥 러닝 모델을 개발하기 위해.
• 복잡하고 장시간 추론이 필요한 다중모달 매칭 작업에서 성능을 평가하기 위해 인간 기준선을 애자일 머신 툴러를 통해 확립하기 위해.
• 학습된 다중모달 대응을 활용해 자동 이미지 배치, 검색, 국지화와 같은 새로운 응용 프로그램을 가능하게 하기 위해.

제안 방법

• 단일 사진과 평면도 이미지 간의 유사도 측정을 학습하기 위해 시아모닉 신경망 아키텍처를 제안한다.
• 무작위 순서의 사진 집합을 처리하기 위해 어텐션 메커니즘을 사용하여 다중 이미지 입력에 대해 추론하는 세트 기반 매칭 네트워크를 도입한다.
• 모델의 행동을 해석하고 예측 시 네트워크가 평면도의 어느 영역에 주목하고 있는지 확인하기 위해 수용 영역(RF) 시각화 기법을 활용한다.
• 특정 사진에 대응하는 평면도의 관련 영역을 강조하기 위해 슬라이딩 윈도우 노이즈 주입 방법을 사용하여 활성화 맵을 생성한다.
• 세면대 제거 등의 이미지 편집을 통해 네트워크가 평면도에서 탐지 가능한 물체와 그 상징적 표현에 의존하고 있음을 검증한다.
• 간소화 기반 시각화를 활용하여 특정 사진에 대응하는 평면도의 정확한 영역을 국지화한다.

실험 결과

연구 질문

• RQ1 극명하게 다른 시각적 특징을 지닌 평면도와 실내 사진 간에 딥 네트워크가 신뢰할 수 있는 다중모달 대응을 학습할 수 있는가?
• RQ2 신경망은 부분적인 시각적 입력을 어떻게 처리하고 평면도의 해당 영역과 매칭하는가?
• RQ3 복잡하고 장시간 주의가 필요한 다중모달 매칭 작업에서 학습된 표현이 인간 성능을 얼마나 뛰어넘을 수 있는가?
• RQ4 모델은 어떤 시각적 신호를 사용하여 높은 정확도를 달성하는가? 이러한 신호는 시각화 기법을 통해 해석할 수 있는가?
• RQ5 강력한 다중모달 이미지 대응을 통해 어떤 새로운 응용이 가능해지는가?

주요 결과

• 제안된 딥 네트워크는 인간 실험자보다 훨씬 높은 매칭 정확도를 기록하며, 인간은 평균 30초 이상 소요되는 반면 모델은 밀리초 내로 예측을 수행한다.
• 모델은 테스트된 모든 실내 유형에서 인간 성능을 뛰어넘으며, 특히 욕실과 주방에서 가장 높은 정확도 향상을 보이며 물체 수준의 추론이 핵심임을 시사한다.
• 수용 영역 시각화 결과 네트워크가 사진에 나타난 실내 공간에 대응하는 평면도의 특정 영역에 주목하고 있음을 확인할 수 있다.
• 물체 제거 실험 결과, 욕조나 세면대와 같은 핵심 물체가 제거되면 유사도 점수가 크게 떨어지며, 이는 네트워크가 탐지 가능한 물체와 그 상징적 표현에 의존하고 있음을 확인한다.
• 간소화 기반 국지화 방법은 사진에 대응하는 정확한 평면도 영역을 성공적으로 분리하여 정확한 공간 국지화를 가능하게 한다.
• 학습된 모델을 활용해 자동 이미지 배치, 검색, 국지화 등의 응용이 성공적으로 구현되었으며, 부동산 및 시각화 시스템 분야에서 새로운 기능을 가능하게 한다.