[논문 리뷰] Learning the Matching Function

Ľubor Ladický, Christian Häne외 1명|arXiv (Cornell University)|2015. 02. 02.

Advanced Vision and Imaging참고 문헌 20인용 수 18

한 줄 요약

이 논문은 수작업으로 구성된 기능이나 명시적 정규화에 의존하지 않고, 운동 흐림, 조명 변화 또는 계절 변화와 같은 허용 가능한 시각적 외관 변화를 자동으로 식별함으로써 이미지 간 픽셀을 매칭하는 디스크리미너티브 훈련을 받은 문맥적 매칭 분류기를 제안한다. 이 방법은 정규화 없이도 문맥 없는 영역에서도 강건성을 유지하면서 스테레오 매칭(KITTI), 옵티컬 플로우(Sintel), 그리고 새로운 TimeLapse 변화 감지 데이터셋에서 최신 기술 수준의 성능을 달성한다. 전체 픽셀 정확도는 93.3%이다.

ABSTRACT

The matching function for the problem of stereo reconstruction or optical flow has been traditionally designed as a function of the distance between the features describing matched pixels. This approach works under assumption, that the appearance of pixels in two stereo cameras or in two consecutive video frames does not change dramatically. However, this might not be the case, if we try to match pixels over a large interval of time. In this paper we propose a method, which learns the matching function, that automatically finds the space of allowed changes in visual appearance, such as due to the motion blur, chromatic distortions, different colour calibration or seasonal changes. Furthermore, it automatically learns the importance of matching scores of contextual features at different relative locations and scales. Proposed classifier gives reliable estimations of pixel disparities already without any form of regularization. We evaluated our method on two standard problems - stereo matching on KITTI outdoor dataset, optical flow on Sintel data set, and on newly introduced TimeLapse change detection dataset. Our algorithm obtained very promising results comparable to the state-of-the-art.

연구 동기 및 목표

• 장기간의 시간 간격 동안 이미지 간 외관 변화가 최소임을 가정하는 전통적인 매칭 함수의 한계를 해결하기 위해.
• 스테레오 및 옵티컬 플로우에서 수작업으로 조정된 정규화나 히우리스틱 사전 지식에 의존하지 않고, 디스크리미너티브 매칭 함수를 학습함으로써 이를 제거하기 위해.
• 구조적 변화와 계절적 또는 조명에 의한 외관 변화를 구분함으로써 정확한 픽셀 수준의 시간적 변화 감지 기능을 제공하기 위해.
• 스테레오 매칭, 옵티컬 플로우, 변화 감지에 적용 가능한 통합된, 이동에 관여하는 분류기로 이진 매칭 결정 문제로 설정하기 위해.
• 도시 환경에서의 구조적 변화에 대해 인간이 애너테이션한 진짜값을 포함한 새로운 TimeLapse 데이터셋을 제작하기 위해.

제안 방법

• 매칭을 이진 분류 문제로 공식화한다: 각 픽셀에 대해 기준 이미지 내 후보 픽셀과 매칭되는지 예측한다.
• 디스크리미너티브 훈련을 통해 문맥적 매칭 함수를 학습하며, 다양한 척도와 공간적 위치에서 관련 있는 시각적 외관 변화와 기능 중요도를 자동으로 식별한다.
• 분류기는 이동에 관여하므로, 이미지 이동에 대해 일관된 디스parity 또는 플로우 예측을 보장한다.
• 전통적인 거리 측정법을 대체하기 위해 국소 패치 특징과 문맥 정보를 통합한 학습된 비용 함수를 사용한다.
• 어떤 형태의 정규화도 사용하지 않았지만, 학습된 함수의 디스크리미너티브 성격 덕분에 매끄러운 결과를 생성한다.
• 이 방법은 스테레오 매칭(KITTI), 옵티컬 플로우(Sintel), 그리고 시간적 변화 감지를 위한 새로운 TimeLapse 데이터셋에 적용된다.

실험 결과

연구 질문

• RQ1 큰 외관 변화 상황에서 전통적인 수작업으로 구성된 유사도 측정법보다 디스크리미너티브 훈련을 받은 매칭 함수가 스테레오 매칭 및 옵티컬 플로우에서 더 나은 성능을 보일 수 있는가?
• RQ2 단일로 학습된 매칭 함수가 스테레오, 옵티컬 플로우, 시간적 변화 감지와 같은 다양한 작업에 대해 특수한 엔지니어링 없이 얼마나 잘 일반화되는가?
• RQ3 학습된 분류기가 조밀한 매칭 작업에서 명시적 정규화의 필요성을 어느 정도 제거할 수 있는가?
• RQ4 장기간의 시간적 데이터에서 분류기는 구조적 변화와 계절적 또는 조명에 의한 시각적 변화를 신뢰성 있게 구분할 수 있는가?
• RQ5 기존 방법이 실패하는 텍스처가 없는 영역에서 이 방법은 얼마나 효과적인가?

주요 결과

• 제안된 분류기는 새로운 TimeLapse 변화 감지 데이터셋에서 픽셀 수준 정확도 93.3%를 달성했으며, 평균 재현율 86.9%와 평균 정밀도 87.9%를 기록했다.
• KITTI 스테레오 데이터셋에서, 이 방법은 어떤 형태의 정규화 없이도 최신 기술 수준의 결과를 내놓았다.
• Sintel 옵티컬 플로우 데이터셋에서, 단일 매칭 결과는 표준 특징 매칭보다 훨씬 덜 노이즈가 있었고, 큰 이동을 성공적으로 포착했다.
• 기존 방법이 정규화에 의존하기 때문에 실패하는 텍스처가 없는 영역(예: 벽, 지면)에서도 분류기가 강건성을 보였다.
• 정성적 결과에서는 새로운 건물, 차량과 같은 구조적 변화를 정확히 식별했고, 눈 오름, 낙엽 등의 계절 변화는 간과했다.
• 이 방법은 거친-세밀한 옵티컬 플로우 파ip라인의 사전 처리 단계로 강력한 잠재력을 보였다. 초기 유량 추정치가 신뢰할 수 있었다.