[논문 리뷰] HyNet: Local Descriptor with Hybrid Similarity Measure and Triplet Loss.

Yurun Tian, Axel Barroso-Laguna외 3명|arXiv (Cornell University)|2020. 06. 17.

Human Pose and Action Recognition인용 수 5

한 줄 요약

HyNet는 모든 특징 맵에 걸쳐 L2 정규화를 통합하고 삼중손실에서 하이브리드 유사도 측정법을 도입한 새로운 국소 기술자 네트워크를 제안한다. 이는 매칭 성능을 크게 향상시키며, 기술자 벡터의 노름과 정규화된 특징 표현을 통한 기울기 흐름 최적화를 통해 패치 매칭, 검증, 검색 및 3D 재구성 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent works show that local descriptor learning benefits from the use of L2 normalisation, however, an in-depth analysis of this effect lacks in the literature. In this paper, we investigate how L2 normalisation affects the back-propagated descriptor gradients during training. Based on our observations, we propose HyNet, a new local descriptor that leads to state-of-the-art results in matching. HyNet introduces a hybrid similarity measure for triplet margin loss, a regularisation term constraining the descriptor norm, and a new network architecture that performs L2 normalisation of all intermediate feature maps and the output descriptors. HyNet surpasses previous methods by a significant margin on standard benchmarks that include patch matching, verification, and retrieval, as well as outperforming full end-to-end methods on 3D reconstruction tasks.

연구 동기 및 목표

• 학습 중 백프로파게이션된 국소 기술자 기울기의 L2 정규화 영향을 조사하는 것.
• 다양한 작업 간 매칭 정확도와 일반화 능력에 한계를 보이는 기존 국소 기술자들의 문제를 해결하는 것.
• 모든 특징 맵 수준에서 L2 정규화를 강제 적용하여 기울기 안정성과 기술자 품질을 향상시키는 새로운 네트워크 아키텍처를 설계하는 것.
• 기본 측정법과 비교해 기술자 학습의 분류 능력을 향상시키기 위해 삼중손실에 하이브리드 유사도 측정법을 개발하는 것.
• 검색, 검증 및 3D 재구성과 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 삼중손실의 마진 내에서 코사인 거리와 L2 거리를 조합한 하이브리드 유사도 측정법을 도입하여 분류 능력 향상 학습을 개선한다.
• 모든 중간 특징 맵과 최종 출력 기술자에 L2 정규화를 적용하여 기울기 흐름 안정성 향상과 기술자 밀도 향상에 기여한다.
• 기본 벡터의 노름을 제약하는 정규화 항을 통합하여 학습 중 특징 크기 일관성을 유지한다.
• 모든 레이어에서 L2 정규화를 명시적으로 강제 적용하는 새로운 네트워크 아키텍처를 설계하여 특징 표현 품질을 향상시킨다.
• 하이브리드 유사도 측정법을 사용한 삼중손실을 적용하여 어려운 음성 샘플 마이닝과 더 나은 클래스 간 분리도를 향상시킨다.
• 백프로파게이션을 통해 엔드 투 엔드로 모델을 훈련시키며, 정규화된 기울기를 활용해 수렴 성능를 향상시킨다.

실험 결과

연구 질문

• RQ1 L2 정규화는 학습 중 국소 기술자에 대한 백프로파게이션 기울기에 어떤 영향을 미치는가?
• RQ2 삼중손실에 하이브리드 유사도 측정법을 적용하면 기존 측정법 대비 기술자 분류 능력 향상에 기여하는가?
• RQ3 모든 특징 맵에 걸쳐 L2 정규화를 적용하면 더 강건하고 일반화 능력이 뛰어난 기술자가 생성되는가?
• RQ4 HyNet은 표준 매칭 벤치마크에서 기존 국소 기술자들보다 얼마나 뛰어난 성능을 보이는가?
• RQ5 전체 엔드 투 엔드 방법과 비교해 HyNet은 엔드 투 엔드 3D 재구성 작업에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• HyNet은 패치 매칭, 검증 및 이미지 검색 작업을 포함한 표준 국소 기술자 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 모델은 기존 방법들보다 3D 재구성 작업에서 뚜렷한 우월성을 보이며, 전체 엔드 투 엔드 학습 접근 방식을 초월한다.
• 중간 특징 맵의 L2 정규화는 학습 중 더 안정적이고 효과적인 기울기 백프로파게이션을 이끌어낸다.
• 삼중손실 내 하이브리드 유사도 측정법은 긍정 및 부정 샘플 간 구분 능력을 향상시킨다.
• 기술자 노름 일관성을 강제하는 정규화 항은 일반화 능력과 매칭 정확도를 향상시킨다.
• 모든 특징 맵에 걸쳐 L2 정규화를 적용한 제안된 아키텍처는 더 컴팩트하고 분류 능력이 뛰어난 기술자를 생성한다.