[논문 리뷰] AutoScaler: Scale-Attention Networks for Visual Correspondence

Shenlong Wang, Linjie Luo외 2명|arXiv (Cornell University)|2016. 11. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 40인용 수 3

한 줄 요약

AutoScaler는 시각적 대응 정확도를 향상시키기 위해 학습 가능한 엔드투엔드 방식으로 다중 해상도 특징 맵을 적응적으로 조합하는 스케일-어텐션 네트워크를 제안한다. 공유 가중치 특징 네트워크와 스케일-어テン션 메커니즘을 사용하여 Sintel, KITTI, CUB-2011를 포함한 광학 흐름 및 의미적 매칭 벤치마크에서 최신 기술 성능을 달성하며, 각 영역에서 최적의 스케일 사용을 강조하는 해석 가능한 어텐션 맵을 제공한다.

ABSTRACT

Finding visual correspondence between local features is key to many computer vision problems. While defining features with larger contextual scales usually implies greater discriminativeness, it could also lead to less spatial accuracy of the features. We propose AutoScaler, a scale-attention network to explicitly optimize this trade-off in visual correspondence tasks. Our network consists of a weight-sharing feature network to compute multi-scale feature maps and an attention network to combine them optimally in the scale space. This allows our network to have adaptive receptive field sizes over different scales of the input. The entire network is trained end-to-end in a siamese framework for visual correspondence tasks. Our method achieves favorable results compared to state-of-the-art methods on challenging optical flow and semantic matching benchmarks, including Sintel, KITTI and CUB-2011. We also show that our method can generalize to improve hand-crafted descriptors (e.g Daisy) on general visual correspondence tasks. Finally, our attention network can generate visually interpretable scale attention maps.

연구 동기 및 목표

• 시각적 대응에서 공간 정확도와 문맥적 구분 능력 사이의 상충 관계를 다중 해상도 선택 최적화를 통해 해결하기 위해.
• 다중 해상도 특징에 대한 학습 가능한 어텐션 메커니즘을 통해 다양한 이미지 영역에서 적응적인 수용장 크기를 가능하게 하기 위해.
• 수동으로 설정된 스케일 선택 규칙에 의존하지 않고도 밀도 있는 대응 작업(예: 광학 흐름 및 의미적 매칭)에서 성능을 향상시키기 위해.
• 일반적인 대응 작업에서 수작업으로 설계된 기술자표 특징(예: Daisy)을 향상시키기 위해 일반화할 수 있도록 하기 위해.
• 어디서이고 왜 다른 스케일이 선택되는지를 보여주는 시각적으로 해석 가능한 스케일 어텐션 맵을 생성하기 위해.

제안 방법

• 네트워크는 입력 이미지의 다중 해상도에서 다중 해상도 특징 맵을 계산하기 위해 공유 가중치 특징 추출기를 사용한다.
• 어텐션 네트워크는 입력 이미지를 기반으로 픽셀 단위의 어텐션 맵을 예측하여 각 스케일의 기여도를 동적으로 가중한다.
• 예측된 어テン션 맵를 사용해 다중 해상도 특징의 가중 합으로 최종 특징 맵을 형성함으로써 적응적인 수용장을 가능하게 한다.
• 모델 전반은 시마이즈 프레임워크에서 대응 학습을 위해 대조 손실을 사용해 엔드투엔드로 훈련된다.
• 어텐션 메커니즘은 스케일 레이블에 대한 명시적 지도 없이 훈련되어 데이터에서 최적의 스케일 조합을 학습한다.
• 수작업으로 설계된 특징을 대체하여 학습된 다중 해상도 특징을 사용함으로써 수작업 특징의 성능을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 수동적 스케일 선택 기법에 의존하지 않고도 딥 러닝 모델이 다중 해상도 특징을 최적의 방식으로 조합하여 시각적 대응을 수행할 수 있는가?
• RQ2 적응적인 스케일 가중치는 다양한 환경과 객체 크기에서 대응 정확도를 어떻게 향상시키는가?
• RQ3 어텐션 메커니즘이 네트워크의 스케일 선택 전략을 반영하는 해석 가능한 맵을 생성할 수 있는가?
• RQ4 제안된 방법은 Daisy와 같은 기존 수작업 특징을 향상시키는 데 일반화 가능한가?
• RQ5 Sintel, KITTI, CUB-2011와 같은 도전적인 벤치마크에서 최신 기술 방법과 비교해 모델 성능은 어떠한가?

주요 결과

• Sintel 벤치마크에서 AutoScaler는 클리어 및 패스 평가 모두에서 최신 기술 성능을 달성하며, 서브픽셀 정확도에서 이전 방법들을 능가한다.
• KITTI 2015 광학 흐름 벤치마크에서 AutoScaler는 모든 픽셀에서 25.64%의 아웃라이어 비율을 기록하여 딥 러닝 기반 방법들 중 유리한 순위를 차지한다.
• CUB-2011 의미적 매칭 데이터셋에서 AutoScaler는 작은 임계값(α < 0.5)에 대해 가장 높은 PCK@α를 기록하여 뛰어난 서브픽셀 정확도를 보였다.
• 더 큰 임계값(α ≥ 1.0)에서는 유니버설 코리스 pond런스 네트워크에 이어 두 번째로 높은 순위를 기록하여 의미적 추론에서 강력한 일반화 능력을 보였다.
• 네트워크가 생성한 어텐션 맵은 시각적으로 해석 가능하며, 무늬가 있는 영역에서는 더 높은 어텐션을 미세 해상도 스케일에, 무늬가 없는 영역에서는 더 거친 해상도 스케일에 집중하고 있음을 보여준다.
• 학습된 다중 해상도 특징으로 교체함으로써 AutoScaler는 Daisy와 같은 수작업 특징의 성능을 향상시키며 강력한 일반화 능력을 입증했다.