[논문 리뷰] Disentangling Nonlinear Perceptual Embeddings With Multi-Query Triplet Networks.

Andreas Veit, Serge Belongie외 1명|arXiv (Cornell University)|2016. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 6

한 줄 요약

이 논문은 인코딩된 비선형 감각적 표현을 다중 시각적 개념을 동시에 모델링하는 분해된 삼중 임베딩과 잠재 공간 주의 메커니즘을 통해 비선형 감각적 표현을 분리하는 새로운 삼중 임베딩 기반 딥 러닝 프레임워크인 멀티-쿼리 네트워크(MQNs)를 제안한다. 이 방법은 공유된 임베딩 공간 내에서 의미적으로 구분되는 부분 공간을 학습하여, 표준 삼중 임베딩 네트워크와 개념 특화 네트워크보다 감각적 표현 학습에서 뛰어난 성능을 보인다.

ABSTRACT

In typical perceptual tasks, higher-order concepts are inferred from visual features to assist with perceptual decision making. However, there is a multitude of visual concepts which can be inferred from a single stimulus. When learning nonlinear embeddings with siamese or triplet networks from similarities, we typically assume they are sourced from a single visual concept. In this paper, we are concerned with the hypothesis that it can be potentially harmful to ignore the heterogeneity of concepts affiliated with observed similarities when learning these embedding networks. We demonstrate empirically that this hypothesis holds and suggest an approach that deals with these shortcomings, by combining multiple notions of similarities in one compact system. We propose Multi-Query Networks (MQNs) that leverage recent advances in representation learning on factorized triplet embeddings in combination with Convolutional Networks in order to learn embeddings differentiated into semantically distinct subspaces, which are learned with a latent space attention mechanism. We show that the resulting model learns visually relevant semantic subspaces with features that do not only outperform single triplet networks, but even sets of concept specific networks.

연구 동기 및 목표

• 임베딩을 학습할 때 단일 시각적 개념을 가정하는 표준 삼중 임베딩 네트워크의 한계를 해결하기 위해.
• 유사성 신호에서 시각적 개념의 이질성을 忽시할 경우 표현 품질이 떨어지는가를 조사하기 위해.
• 단일 효율적인 네트워크 아키텍처 내에서 다중 시각적 개념을 동시에 모델링하는 통합 프레임워크를 개발하기 위해.
• 분해된 삼중 임베딩에 대한 주의 메커니즘을 사용하여 임베딩 공간 내에서 의미적으로 분리된 부분 공간을 학습하기 위해.

제안 방법

• 각 쿼리가 별개의 시각적 개념에 대응하는 멀티-쿼리 아키텍처를 사용하여, 네트워크가 입력 자극의 다양한 측면에 주의를 기울일 수 있도록 한다.
• 각각의 특정 개념 전용이 되는 의미 있는 부분 공간으로 임베딩 공간을 분해하기 위해 분해된 삼중 임베딩을 사용한다.
• 입력 컨텍스트에 따라 다양한 부분 공간 기여도를 동적으로 가중하는 잠재 공간 주의 메커니즘이 표현의 구체성을 향상시킨다.
• 내부 개념 유사성과 외부 개념 분리성을 동시에 유도하기 위해 병합된 삼중 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 계층적인 시각적 표현을 제공하기 위해 컨volutional 신경망을 특징 추출의 백본으로 사용한다.
• 단일이고 효율적인 모델 내에서 다수의 개념 특화 부분 공간을 동시에 최적화할 수 있도록 아키텍처를 설계하여, 각 개념에 대해 별도의 네트워크가 필요로 하는 것을 방지한다.

실험 결과

연구 질문

• RQ1 유사성 신호에서 시각적 개념의 이질성을 忽시할 경우 학습된 비선형 임베딩의 품질이 떨어지는가?
• RQ2 다양한 개념을 동시에 모델링함으로써 단일 딥 네트워크가 의미적으로 구분된 다수의 부분 공간을 효과적으로 학습할 수 있는가?
• RQ3 다중 개념 학습 프레임워크의 성능은 단일 개념 삼중 임베딩 네트워크와 비교해 어떻게 다른가?
• RQ4 분해된 부분 공간에 대한 주의 메커니즘이 분리도 및 표현 품질 향상에 어느 정도 기여하는가?
• RQ5 통합된 멀티-쿼리 네트워크가 감각적 임베딩 작업에서 개념 특화 네트워크의 앙상블보다 우월한가?

주요 결과

• 제안된 멀티-쿼리 네트워크는 감각적 임베딩 작업에서 표준 삼중 임베딩 네트워크보다 뛰어난 성능을 보이며, 일반화 능력과 분리도 향상됨을 입증하였다.
• 모델은 질적 분석을 통해 명백한 시각적 개념에 대응하는 시각적으로 관련된 의미 부분 공간을 학습함을 확인하였다.
• 주의 메커니즘이 효과적으로 다양한 부분 공간의 기여도를 조절하여 맥락 인식 기반 표현 선택을 가능하게 하였다.
• 단일 삼중 임베딩 네트워크와 개념 특화 네트워크 앙상블 모두를 능가하는 성능을 보이며, 분리된 학습과 함께 공동 학습이 더 효과적임을 시사하였다.
• 실험 결과는 임베딩 학습 시 개념의 이질성을 忽시할 경우 최적의 표현이 도출되지 않음을 확인하였으며, 이는 본 논문의 핵심 가설을 뒷받침한다.