[논문 리뷰] Semi-supervised classification by reaching consensus among modalities

Zining Zhu, Jekaterina Novikova외 1명|arXiv (Cornell University)|2018. 05. 23.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 3

한 줄 요약

이 논문은 적대적 훈련을 통해 모odal별 표현 간의 공감대를 강제함으로써 다중모달 데이터를 활용하는 준지도학습 프레임워크인 Transductive Consensus Networks(TCNs)를 소개한다. TCNs는 Bank Marketing 및 DementiaBank 데이터셋에서 레이블이 20개 밖에 없는 경우에도 최신 기준을 능가하거나 이를 충족시키며, 음의 상대적 젠슨-쇼넌 다이버전스로 측정된 모달 표현 간의 안정적이고 거의 최적에 가까운 유사도가 뛰어난 분류 성능을 이끌어내는 것으로 나타났다.

ABSTRACT

Deep learning has demonstrated abilities to learn complex structures, but they can be restricted by available data. Recently, Consensus Networks (CNs) were proposed to alleviate data sparsity by utilizing features from multiple modalities, but they too have been limited by the size of labeled data. In this paper, we extend CN to Transductive Consensus Networks (TCNs), suitable for semi-supervised learning. In TCNs, different modalities of input are compressed into latent representations, which we encourage to become indistinguishable during iterative adversarial training. To understand TCNs two mechanisms, consensus and classification, we put forward its three variants in ablation studies on these mechanisms. To further investigate TCN models, we treat the latent representations as probability distributions and measure their similarities as the negative relative Jensen-Shannon divergences. We show that a consensus state beneficial for classification desires a stable but imperfect similarity between the representations. Overall, TCNs outperform or align with the best benchmark algorithms given 20 to 200 labeled samples on the Bank Marketing and the DementiaBank datasets.

연구 동기 및 목표

• 레이블이 적은 다중모달 분류 문제를 해결하기 위해 공감 네트워크를 준지도학습으로 확장한다.
• 제한된 레이블 데이터에서 모델 일반화를 향상시키는 데 있어 공감대와 분류 기법의 역할을 조사한다.
• 모달 표현 간 유사도와 최종 분류 성능 간의 관계를 이해한다.
• 저샷 러닝 설정 하에서 병리적 및 비병리적 음성, 그리고 표본 데이터를 포함한 실제 데이터셋에 대해 TCNs의 성능을 평가한다.

제안 방법

• 공감 메커니즘(모달 표현을 정렬하기 위한 적대적 훈련)과 분류 메커니즘(레이블된 데이터에 대한 지도학습)을 조합한 Transductive Consensus Networks(TCNs)를 제안한다.
• 판별자(discriminator)를 사용해 다중모달 입력을 잠재 표현으로 압축함으로써, 다양한 모달 간에 구분이 불가능하도록 적대적 훈련을 수행하여 공감대를 강제한다.
• 잠재 표현을 확률 분포로 간주하고, 음의 상대적 젠슨-쇼넌 다이버전스를 사용해 유사도를 측정한다.
• 표현 정렬과 예측 정확도를 균형 있게 유지하기 위해 공감 목표와 분류 목표를 번갈아가며 반복적으로 훈련한다.
• 기구 기여도를 분리하기 위해 세 가지 아블레이션 변형(TCN-embed, TCN-svm, TCN-AE)을 도입한다.
• 손실 수렴 여부를 기반으로 조기 정지하며, 훈련이 발산할 경우 재초기화하여 안정적인 최적화를 보장한다.

실험 결과

연구 질문

• RQ1 TCNs의 공감 메커니즘이 레이블 수가 적은 환경에서 일반화 성능을 어떻게 향상시키는가?
• RQ2 효율적인 분류를 위해 모달 표현 간 최적의 유사도 수준은 어느 정도인가?
• RQ3 공감 메커니즘과 분류 메커니즘이 개별 구성 요소보다 TCN 성능 향상에 얼마나 기여하는가?
• RQ4 기존 준지도학습 기준인 TSVM, Ladder, CatGAN, tri-training과 비교해 TCN은 실제 데이터셋에서 어떻게 성능을 내는가?
• RQ5 음의 상대적 젠슨-쇼넌 다이버전스는 다중모달 표현 학습에서 공감대 품질을 측정하는 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• Bank Marketing 및 DementiaBank 데이터셋에서 레이블이 20~200개 밖에 없는 경우 TCNs가 최고의 벤치마크 알고리즘을 능가하거나 이를 충족시킨다.
• 아블레이션 연구 결과, 공감 메커니즘과 분류 메커니즘이 모두 필수적임을 확인: 둘 중 하나를 제거하면 성능이 크게 떨어지며, 반복적 훈련이 핵심임을 입증한다.
• TCN-embed와 TCN(전체 모델)은 유사한 성능을 기록하며, 둘 다 TCN-AE를 크게 앞서며, 이는 오토인코더 간섭으로 인해 공감대를 이루지 못하기 때문이다.
• TCN-svm는 성능이 열악하여, 이 다중모달 및 적대적 환경에서는 SVM 기반 분류가 효과적이지 않음을 시사한다.
• 모달 표현 간 유사도는 음의 상대적 JS 다이버전스로 측정되었으며, 훈련 과정에서 안정화되고 최적 수준보다는 다소 낮지만 의미 있는 수준에서 정점에 도달함을 확인함으로써, 완벽한 정렬이 좋은 성능을 내는 데 반드시 필요하지 않음을 시사한다.
• T-SNE 시각화 결과, 스텝 30에서 표현들이 대칭적이고 혼합된 군집을 이룸—이 시점이 가장 높은 유사도와 최고의 분류 성능를 기록함—공감대의 안정적이고 유익한 상태 존재를 확인한다.