[논문 리뷰] Task-Driven Common Representation Learning via Bridge Neural Network

Yao Xu, Xueshuang Xiang외 1명|arXiv (Cornell University)|2019. 06. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 4

한 줄 요약

이 논문은 인공 음성 샘플을 사용하여 두 데이터 소스 간의 공통 표현을 학습하는 임무 지향적 딥러닝 프레임워크인 브릿지 신경망(Bridge Neural Network, BNN)을 제안한다. 이 방법은 점점 증가하는 총 상관관계를 최대화하고, 쌍 매칭, CCA, 전이 학습, 시각 재구성 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper introduces a novel deep learning based method, named bridge neural network (BNN) to dig the potential relationship between two given data sources task by task. The proposed approach employs two convolutional neural networks that project the two data sources into a feature space to learn the desired common representation required by the specific task. The training objective with artificial negative samples is introduced with the ability of mini-batch training and it's asymptotically equivalent to maximizing the total correlation of the two data sources, which is verified by the theoretical analysis. The experiments on the tasks, including pair matching, canonical correlation analysis, transfer learning, and reconstruction demonstrate the state-of-the-art performance of BNN, which may provide new insights into the aspect of common representation learning.

연구 동기 및 목표

• 다양한 복잡도 수준을 가진 다양한 임무에서 두 데이터 소스 간의 임무 특화 공통 표현을 학습하는 과제를 해결하기 위해.
• 쌍 매칭, CCA, 전이 학습, 시각 재구성과 같은 다양한 임무에 맞게 표현 학습 목표를 조정할 수 있는 확장 가능한 딥러닝 프레임워크를 개발하기 위해.
• 총 상관관계를 점점 증가시키는 데 이론적으로 점근적으로 동일한 효과를 갖는 새로운 학습 목표를 도입하기 위해.
• 고차원 데이터를 위한 경량 컨볼루션 및 역컨볼루션 네트워크를 사용하여 경량화된 기울기 하강법을 통한 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• BNN은 두 데이터 소스를 동일한 특징 공간으로 투영하기 위해 공유 가중치 또는 별도의 컨볼루션 신경망을 사용한다.
• 이진 분류 목표를 사용한다: 양성 쌍에 대해서는 표현 간 유클리드 거리를 최소화하고, 인공 음성 쌍에 대해서는 이를 최대화한다.
• 이론적으로 학습 목표가 두 데이터 소스 간의 총 상관관계를 점점 증가시키는 것과 점근적으로 동일하다고 증명된다.
• 시각 재구성의 경우, 공통 표현 레이어 뒤에 두 개의 역컨볼루션 신경망을 추가하여 누락된 시각을 재구성한다.
• 총 손실은 BNN 손실, 자기 재구성 손실, 교차 재구성 손실을 조합하여 인코더 및 디코더 파라미터의 공동 최적화를 가능하게 한다.
• 프레임워크는 미니배치 학습을 지원하며, 표준 기울기 하강법을 통해 최적화되어 대규모 고차원 데이터셋에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 프레임워크는 다양한 복잡도 수준을 가진 다양한 임무에 적응할 수 있는 임무 특화 공통 표현을 학습할 수 있는가?
• RQ2 학습 시 인공 음성 샘플을 사용하면 데이터 소스 간의 총 상관관계를 점점 증가시키는 표현 학습 목표로 이어지는가?
• RQ3 쌍 매칭, 정규화 상관 분석(cca), 전이 학습, 시각 재구성 작업에서 BNN은 기존 방법들보다 성능이 뛰어나게 되는가?
• RQ4 역컨볼루션 신경망을 디코더로 통합함으로써 BNN 프레임워크를 시각 재구성 기능을 지원하도록 확장할 수 있는가?

주요 결과

• BNN은 쌍 매칭 작업에서 최신 기술 수준(SOTA) 성능을 달성하여 기존 방법들보다 정확도와 강건성 면에서 뛰어나다.
• 인공 음성 샘플을 사용한 제안된 학습 목표는 이론적으로 데이터 소스 간의 총 상관관계를 점점 증가시키는 것과 점근적으로 동일하다고 증명되었다.
• 정규화 상관 분석(cca) 작업에서는 기존 CCA 및 DCCA보다 성능이 유사하거나 뛰어난 선형 상관 관계 표현을 학습한다.
• 전이 학습의 경우, BNN은 벤치마크 데이터셋에서 하류 분류 정확도를 향상시키는 분류 가능한 특징을 학습한다.
• 시각 재구성의 경우, BNN은 역컨볼루션 신경망 디코더를 사용해 시각적으로 선명하고 정확한 재구성을 생성하며, CorrNet보다 정성적 결과에서 뛰어나다.
• 재구성 손실(자기 및 교차)은 효과적으로 최소화되며, 정량적 결과에서는 기준 방법들보다 낮은 재구성 오차를 보였다.