[논문 리뷰] Learning to Compose Hypercolumns for Visual Correspondence

Juhong Min, Jong‐Min Lee외 2명|arXiv (Cornell University)|2020. 07. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 55인용 수 4

한 줄 요약

이 논문은 입력 이미지 쌍에 기반하여 깊은 CNN에서 관련성이 있는 합성곱 레이어의 소량을 학습을 통해 선택함으로써 동적으로 초기둥 특징을 조합하는 새로운 방법인 동적 하이퍼픽셀 플로우(Dynamic Hyperpixel Flow)를 제안한다. Gumbel-softmax 샘플링을 활용한 미분 가능 레이어 선택과 적응형 특징 융합을 통해, 정적이고 단일 구조의 특징 표현에 비해 더 높은 정확도와 효율성을 확보한 상태에서 의미적 대응 기준 평가에서 최고 성능을 달성한다.

ABSTRACT

Feature representation plays a crucial role in visual correspondence, and recent methods for image matching resort to deeply stacked convolutional layers. These models, however, are both monolithic and static in the sense that they typically use a specific level of features, e.g., the output of the last layer, and adhere to it regardless of the images to match. In this work, we introduce a novel approach to visual correspondence that dynamically composes effective features by leveraging relevant layers conditioned on the images to match. Inspired by both multi-layer feature composition in object detection and adaptive inference architectures in classification, the proposed method, dubbed Dynamic Hyperpixel Flow, learns to compose hypercolumn features on the fly by selecting a small number of relevant layers from a deep convolutional neural network. We demonstrate the effectiveness on the task of semantic correspondence, i.e., establishing correspondences between images depicting different instances of the same object or scene category. Experiments on standard benchmarks show that the proposed method greatly improves matching performance over the state of the art in an adaptive and efficient manner.

연구 동기 및 목표

• 시각적 대응 작업에서 정적이고 단일 구조의 깊은 특징 표현의 한계를 해결하기 위해.
• 입력 이미지 쌍에 기반하여 관련성이 있는 CNN 레이어를 선택함으로써 적응형 특징 조합을 가능하게 하기 위해.
• 시야각 변화나 변형과 같은 큰 클래스 내 변형에 대응하여 정확도를 향상시키기 위해.
• 고정된 레이어 선택에 의존하지 않고 다중 수준 특징을 동적으로 융합할 수 있는 효율적이고 학습 가능한 아키텍처를 개발하기 위해.
• 강한 지도 학습 및 약한 지도 학습 환경 모두에서의 효과성을 입증하기 위해.

제안 방법

• 이 방법은 깊은 신경망의 다수의 합성곱 레이어에서 이산적 레이어 선택을 학습하기 위해 Gumbel-softmax 미분 가능 샘플링 전략을 사용한다.
• 다양한 수준의 특징을 적응적으로 융합할 수 있도록, 각 이미지 쌍에 대해 소수의 레이어를 선택하는 게이팅 메커니즘으로 동적 특징 조합을 공식화한다.
• 입력 이미지 쌍에 조건화된 다층 퍼셉트론(MLP)을 사용하여 레이어 가중치를 예측하는 학습 가능한 게이팅 네트워크를 활용한다.
• 선택된 레이어의 활성화를 연결하여 초기둥 특징을 구성하고, 차원을 줄이기 위해 학습 가능한 특징 변환(CFT) 레이어를 적용한다.
• 학습 중 특정 레이어에 과도하게 기울이는 것을 방지하기 위해 다양성을 유도하는 새로운 손실 함수 $\mathcal{L}_{\text{sel}}$ 를 도입한다.
• 종합적인 대응 손실과 레이어 선택 정규화를 조합하여 엔드 투 엔드로 학습함으로써 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정된 단일 구조 특징 표현에 비해 동적이고 학습 가능한 레이어 선택이 시각적 대응 성능 향상에 기여하는가?
• RQ2 깊은 CNN에서 다수 수준의 특징을 적응적으로 조합할 경우, 의미적 대응에서 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 Gumbel-softmax를 통한 미분 가능 확률적 레이어 선택과 소프트 게이팅 간의 성능 및 일반화 능력에 대한 영향은 무엇인가?
• RQ4 제안된 방법이 강한 지도 학습 및 약한 지도 학습 모두에서 효과적으로 일반화되는가?
• RQ5 유사하거나 더 높은 정확도를 보이는 기존 방법과 비교해 볼 때, 동적 특징 조합의 계산 비용은 어떻게 되는가?

주요 결과

• 제안된 동적 하이퍼픽셀 플로우는 PF-PASCAL 벤치마크에서 최고 성능을 기록하여 α=0.05일 때 PCK 점수 75.7을 달성하며 이전 방법을 모두 초월한다.
• PASCAL-Part 데이터셋에서 α=0.05일 때 73.6의 PCK 점수를 기록하여 세밀한 부분 수준의 대응에 대해 강력한 일반화 능력을 보여준다.
• Gumbel-softmax 게이팅 메커니즘이 모든 소프트 게이팅 변종(예: 시그모이드, ℓ1 정규화가 적용된 시그모이드)보다 높은 정확도와 더 빠른 추론 속도(58ms 대비 74ms)를 확보한다.
• 모델은 평균적으로 특징 차원을 3962로 감소시켜 이전 방법(예: 6400–10240)보다 훨씬 낮게 유지함으로써 효율성을 향상시킨다.
• 제거 실험 결과, 레이어 선택 손실($\mathcal{L}_{\text{sel}}$)이나 마진 손실($\omega_m$)을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 제안된 학습 목표의 중요성을 입증한다.
• 레이어 선택 빈도 분석을 통해 모델이 다양한 비균일한 레이어 선택 패턴을 학습하고 있음을 확인하여 다수 수준의 표현을 효과적으로 탐색하고 있음을 확인한다.