[논문 리뷰] Adversarial Contrastive Estimation

Avishek Joey Bose, Huan Ling외 1명|arXiv (Cornell University)|2018. 05. 09.

Topic Modeling참고 문헌 37인용 수 19

한 줄 요약

이 논문은 고정된 음성 샘플링을 조건부로, 적대적으로 학습된 혼합 샘플러로 대체하는 Adversarial Contrastive Estimation (ACE)을 제안한다. GAN 유사 최소-최대 게임에서 생성기가 더 어려운 음성 예제를 생성하도록 훈련시킴으로써, ACE는 단어 임베딩, 순서 임베딩, 지식 그래프 임베딩 등에서 수렴 속도를 가속화하고 성능을 향상시켜 WN18에서 0.792 MRR 점수를 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Learning by contrasting positive and negative samples is a general strategy adopted by many methods. Noise contrastive estimation (NCE) for word embeddings and translating embeddings for knowledge graphs are examples in NLP employing this approach. In this work, we view contrastive learning as an abstraction of all such methods and augment the negative sampler into a mixture distribution containing an adversarially learned sampler. The resulting adaptive sampler finds harder negative examples, which forces the main model to learn a better representation of the data. We evaluate our proposal on learning word embeddings, order embeddings and knowledge graph embeddings and observe both faster convergence and improved results on multiple metrics.

연구 동기 및 목표

• 대비 학습에서 고정된 비적응형 음성 샘플링의 한계를 해결하기 위해, 이는 종종 쉽게 구분하기 어려운 음성 예제를 생성하여 모델의 구분 능력을 저해한다.
• 적대적 훈련을 통해 동적으로 더 어려운 음성 예제를 생성함으로써 표현 학습을 향상시키기 위해.
• 수렴 속도와 최종 성능를 모두 향상시키는 단일 프레임워크로 다양한 대비 학습 방법을 통합하기 위해.
• 다양한 NLP 작업, 특히 단어 및 지식 그래프 임베딩에서 적대적 음성 샘플링의 효과를 검증하기 위해.
• 생성기의 엔트로피 정규화와 가짜 음성 예제 처리가 훈련 안정성과 성능에 미치는 영향을 분석하기 위해.

제안 방법

• ACE는 고정된 노이즈 대비 추정(NCE) 분포와 적대적으로 학습된 생성기 분포를 조합한 혼합 음성 샘플러를 도입한다.
• 생성기는 조건부 GAN 설정에서 훈련되며, 입력된 양성 예제를 조건으로 삼아 디스criminator의 손실을 최대화하도록 음성 예제를 생성한다.
• 메인 모델과 생성기는 최소-최대 게임에서 번갈아가며 훈련되며, 디스criminator는 진짜 양성 예제와 적대적 음성 예제를 구분하도록 학습된다.
• 핵심 혁신은 생성기의 출력에 엔트로피 정규화를 적용하여 모드 붕괴를 방지하고 음성 샘플링의 다양성을 확보하는 것이다.
• 생성기가 어려운 음성 예제를 생성하지 못할 경우 NCE로의 후퇴를 유지함으로써 훈련 안정성을 보장한다.
• 이 프레임워크는 세 가지 작업에 적용된다: 단어 임베딩(CBOW/skip-gram), 순서 임베딩, 지식 그래프 임베딩(TransD, DistMult, ComplEx).

실험 결과

연구 질문

• RQ1 적대적으로 학습된 음성 샘플러가 고정된 NCE 샘플링보다 더 어려운 음성 예제를 생성할 수 있는가? 이는 더 나은 표현 학습으로 이어지는가?
• RQ2 고정된 샘플링과 학습된 샘플링의 혼합이 훈련 안정성과 수렴 속도를 향상시키는가?
• RQ3 생성기의 엔트로피 정규화가 샘플링된 음성 예제의 품질과 다양성에 어떤 영향을 미치는가?
• RQ4 ACE는 지식 그래프 및 단어 임베딩 작업에서 MRR 및 hit@10과 같은 하류 메트릭에서 성능을 얼마나 향상시키는가?
• RQ5 ACE는 다양한 임베딩 아키텍처와 학습 목표에 일반화될 수 있는가?

주요 결과

• ACE는 WN18 링크 예측 벤치마크에서 0.792 MRR을 기록하여 기준 NCE TransD(0.527 MRR)를 크게 앞서며, 일부 설정에서 COMPLEX(0.941 MRR)와 같은 최신 기술 수준의 모델과도 맞먹거나 초월했다.
• WN18에서 ACE는 표준 NCE 대비 MRR을 48% 이상 향상시켜 더 어려운 음성 예제 덕분에 더 강력한 구분 학습이 이루어졌음을 시사한다.
• 생성기가 생성한 음성 예제에 대한 디스criminator 손실은 NCE에 의해 생성된 음성 예제보다 일관되게 높았으며, 이는 생성기가 더 어려운 예제를 생성하고 있음을 확인한다.
• 초과어 예측 작업에서 ACE의 음성 예제는 NCE보다 디스criminator 손실의 빠른 붕괴를 유도했으며, 이는 더 높은 어려움과 더 강력한 학습 신호를 의미한다.
• 엔트로피 정규화와 가중치 감소의 추가가 안정적인 훈련에 필수적이었으며, 생성기의 모드 붕괴를 방지하고 성능을 향상시켰다.
• ACE는 모든 평가된 작업에서 더 빠른 수렴을 보였으며, 단어, 순서, 지식 그래프 임베딩 전반에서 MRR 및 hit@10 모두 일관된 향상을 보였다.