[논문 리뷰] Semantic Correspondence with Transformers.

Seokju Cho, Sunghwan Hong외 4명|arXiv (Cornell University)|2021. 06. 04.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 밀도 높은 의미적 대응을 위한 새로운 트랜스포머 기반 네트워크인 트랜스포머를 활용한 비용 집계(CATs)를 제안한다. 이는 자기주의 주의(self-attention)를 통해 전역적 맥락을 모델링하고, 큰 외관 및 기하학적 변형에 대해 강건성을 향상시킨다. 외관 유사도 모델링, 다중 수준 특징 집계, 스위핑(self-attention), 잔차 연결을 통합함으로써 CATs는 어려운 변형 조건 하에서도 이전의 CNN 기반 및 수작업 설계된 방법들보다 대응 정확도와 일반화 능력에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel cost aggregation network, called Cost Aggregation with Transformers (CATs), to find dense correspondences between semantically similar images with additional challenges posed by large intra-class appearance and geometric variations. Compared to previous hand-crafted or CNN-based methods addressing the cost aggregation stage, which either lack robustness to severe deformations or inherit the limitation of CNNs that fail to discriminate incorrect matches due to limited receptive fields, CATs explore global consensus among initial correlation map with the help of some architectural designs that allow us to exploit full potential of self-attention mechanism. Specifically, we include appearance affinity modelling to disambiguate the initial correlation maps and multi-level aggregation to benefit from hierarchical feature representations within Transformer-based aggregator, and combine with swapping self-attention and residual connections not only to enforce consistent matching, but also to ease the learning process. We conduct experiments to demonstrate the effectiveness of the proposed model over the latest methods and provide extensive ablation studies. Code and trained models will be made available at this https URL.

연구 동기 및 목표

• 큰 내부 클래스 외관 및 기하학적 변형을 다루는 데 어려움을 겪는 수작업 설계된 방법과 CNN 기반의 비용 집계 방법의 한계를 해결한다.
• 자기주의 주의 메커니즘을 통해 전역적 맥락을 활용하여 심각한 변형과 잘못된 매칭에 대한 강건성을 향상시킨다.
• 트랜스포머 기반 집계기에서 다중 수준 계층적 특징을 결합함으로써 특징 표현을 향상시킨다.
• 스위핑(self-attention)과 잔차 연결을 통해 이미지 간 일관된 매칭을 강제하여 학습을 안정화하고 정렬 성능을 향상시킨다.

제안 방법

• 다중 헤드 자기주의 주의를 사용하여 초기 상관 매트릭스의 장거리 의존성을 모델링하는 트랜스포머 기반의 비용 집계 모듈을 사용한다.
• 특징 간 의미적 유사도를 측정함으로써 초기 상관 매트릭스를 개선하기 위해 외관 유사도 모델링을 도입한다.
• 다양한 네트워크 단계에서의 계층적 표현을 활용하기 위해 다중 수준 특징 집계를 구현한다.
• 매칭 쌍 간의 이중성 일관성을 강제하기 위해 스위핑(self-attention)을 사용하여 정렬 신뢰도를 향상시킨다.
• 심층 트랜스포머 아키텍처에서 최적화를 용이하게 하고 학습을 안정화하기 위해 잔차 연결을 통합한다.
• 모든 구성 요소를 종합하여 밀도 높은 의미적 대응을 위한 엔드 투 엔드 학습 가능한 프레임워크로 구현한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반의 비용 집계 모듈이 큰 외관 및 기하학적 변형을 다루는 데 있어 CNN 기반 및 수작업 설계된 방법들을 능가할 수 있는가?
• RQ2 외관 유사도 모델링은 모호한 영역에서 잘못된 매칭과 올바른 매칭을 더 잘 구분하기 위해 초기 상관 매트릭스를 얼마나 효과적으로 개선하는가?
• RQ3 다중 수준 특징 집계는 복잡한 변형이 있는 대응 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 기본 자기주의 주의와 비교해 스위핑(self-attention)이 매칭 일관성과 강건성을 향상시키는가?
• RQ5 잔차 연결은 제안된 트랜스포머 기반 아키텍처에서 학습 안정성과 수렴에 어떻게 기여하는가?

주요 결과

• CATs는 밀도 높은 의미적 대응을 위한 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여, 큰 내부 클래스 변형 조건에서도 뛰어난 일반화 능력을 입증한다.
• 외관 유사도 모델링의 통합은 특히 모호한 영역에서 잘못된 매칭과 올바른 매칭을 더 잘 구분함으로써 식별 능력을 크게 향상시킨다.
• 다중 수준 집계는 복잡한 변형이 있는 영역에서 더 강력한 특징 표현을 만들어내며 성능 향상에 기여한다.
• 스위핑(self-attention)은 이중성 일관성을 향상시켜 일관되지 않은 예측을 줄이고 매칭 신뢰도를 높인다.
• 잔차 연결은 심층 트랜스포머 아키텍처에서 안정적인 학습과 빠른 수렴에 기여한다.
• 광범위한 추상화 연구(ablation studies)는 각 구성 요소의 효과성을 확인하였으며, 전체 CATs 모델이 모든 평가 지표에서 추상화된 변종보다 뛰어난 성능을 보였다.