[논문 리뷰] Auto-Encoder based Co-Training Multi-View Representation Learning

Run‐kun Lu, Jian–wei Liu외 3명|arXiv (Cornell University)|2022. 01. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 4

한 줄 요약

이 논문은 공유된 감독 네트워크를 통해 시각별 오토인코더를 공동 학습함으로써 다중 시각 간 일관성 있고 상보적인 표현을 동시에 학습하는 신경망 기반 방법인 자동에코더 기반 공학습 다중 시각 학습(ACMVL)을 제안한다. 이 방법은 가중치 공유와 번갈아가며 공학습하는 방식을 통해 표현 학습을 향상시키며, 기준 데이터셋에서 분류 및 군집 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-view learning is a learning problem that utilizes the various representations of an object to mine valuable knowledge and improve the performance of learning algorithm, and one of the significant directions of multi-view learning is sub-space learning. As we known, auto-encoder is a method of deep learning, which can learn the latent feature of raw data by reconstructing the input, and based on this, we propose a novel algorithm called Auto-encoder based Co-training Multi-View Learning (ACMVL), which utilizes both complementarity and consistency and finds a joint latent feature representation of multiple views. The algorithm has two stages, the first is to train auto-encoder of each view, and the second stage is to train a supervised network. Interestingly, the two stages share the weights partly and assist each other by co-training process. According to the experimental result, we can learn a well performed latent feature representation, and auto-encoder of each view has more powerful reconstruction ability than traditional auto-encoder.

연구 동기 및 목표

• 매트릭스 분해에 의존하는 기존의 다중 시각 부분공간 학습 방법이 대규모 데이터에서 어려움을 겪는 점을 해결하기 위해.
• 딥 뉴럴 네트워크를 사용하여 다중 시각 데이터에서 일관성(공유 특징)과 상보성(시각별 특징)을 동시에 모델링하기 위해.
• 기존의 매트릭스 분해 기반 접근 방식과 달리, 대규모 데이터셋에 적합한 스케일러블하고 미니배치 호환 가능한 학습 전략을 개발하여 오토인코더 성능을 공동 학습을 통해 향상시키기 위해.
• 오토인코더와 감독 네트워크 간의 부분적 가중치 공유를 통해 수렴 속도를 가속화하고 표현 품질을 향상시키기 위해.

제안 방법

• 프레임워크는 시각별 오토인코더와 공유되는 감독 네트워크로 구성되며, 공동 잠재 표현은 감독 네트워크의 첫 번째 은닉층에서 추출된다.
• 각 시각의 오토인코더는 시각별 잠재 표현을 학습하며, 이는 가중치 공유를 통해 공유 공간으로 매핑되어 일관성을 강제한다.
• 교대로 공학습 전략을 사용하여 감독 네트워크가 오토인코더의 인코더를 향상시키는 기울기 신호를 제공하고, 오토인코더의 특징이 감독 네트워크의 학습을 향상시킨다.
• 미니배치 확률적 경사 하강법을 사용하여 이전의 매트릭스 분해 기반 접근 방식과 달리 대규모 데이터셋에 대한 확장성을 확보한다.
• 각 시각의 특수 특징의 가중치가 부여된 공유 공간 투영을 합산한 후 비선형 활성화 함수를 적용하여 공동 표현을 형성한다.
• 오토인코더의 재구성 손실과 감독 네트워크의 교차 엔트로피 손실을 함께 사용하여 엔드 투 엔드로 모델을 학습한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 공동 학습 프레임워크는 다중 시각 데이터에서 일관성과 상보성을 모두 반영하는 공동 잠재 표현을 효과적으로 학습할 수 있는가?
• RQ2 공유 파rameter를 사용한 번갈아가며 공학습하는 전략은 개별 시각 오토인코더와 전체 공동 표현의 성능을 어떻게 향상시키는가?
• RQ3 기존의 매트릭스 분해 기반 접근 방식과 달리, 미니배치 학습을 통해 제안된 방법은 대규모 데이터셋에 효율적으로 스케일링될 수 있는가?
• RQ4 공동 잠재 표현은 하류의 분류 및 군집 작업에서 개별 시각 표현보다 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 절단 연구를 통해 ACMVL 프레임워크는 표준 오토인코더에 비해 개별 시각 오토인코더의 재구성 능력을 크게 향상시킴을 확인하였다.
• 분류 작업에서 공동 잠재 표현(LR-ACMVL)은 개별 시각 표현(LR-AE)과 공동 학습된 오토인코더 특징(LR-AE-ACMVL)보다 높은 정확도와 F1 점수를 달성하였다.
• 군집 작업에서 공동 잠재 표현(GMM-ACMVL)은 개별 시각 표현과 오토인코더 전용 기준보다 상당히 높은 NMI 점수와 낮은 JC 점수를 기록하였다.
• WebKB 데이터셋에서 공동 표현은 NMI 0.5809와 JC 0.0310을 달성하였으며, 최고의 개별 시각(비교: NMI 0.4739, JC 0.1593)을 뛰어넘었다.
• 20NG 데이터셋에서 공동 표현은 NMI 0.3171과 JC 0.5100을 기록하였으며, 최고의 개별 시각(비교: NMI 0.1968, JC 0.4533)을 크게 능가하였다.
• 공동 학습 전략은 수렴 속도를 가속화하고 각 오토인코더의 학습 성능을 향상시켜 가중치 공유와 상호 감독의 효과를 입증하였다.