[논문 리뷰] Dual Supervised Learning

Yingce Xia, Tao Qin외 4명|arXiv (Cornell University)|2017. 07. 03.

Natural Language Processing Techniques인용 수 72

한 줄 요약

Dual Supervised Learning (DSL)은 확률적 이중성을 강제하여 프라이멀(primal)과 듀얼(dual) 작업을 함께 학습시켜 번역, 이미지 처리, 그리고 감정 분석의 성능을 향상시킨다.

ABSTRACT

Many supervised learning tasks are emerged in dual forms, e.g., English-to-French translation vs. French-to-English translation, speech recognition vs. text to speech, and image classification vs. image generation. Two dual tasks have intrinsic connections with each other due to the probabilistic correlation between their models. This connection is, however, not effectively utilized today, since people usually train the models of two dual tasks separately and independently. In this work, we propose training the models of two dual tasks simultaneously, and explicitly exploiting the probabilistic correlation between them to regularize the training process. For ease of reference, we call the proposed approach \emph{dual supervised learning}. We demonstrate that dual supervised learning can improve the practical performances of both tasks, for various applications including machine translation, image processing, and sentiment analysis.

연구 동기 및 목표

• paired 작업 간 고유의 이중성(예: A→B 대 B→A)을 활용해 두 작업 모두를 개선하려는 동기.
• Primal과 dual 모델 간의 확률적 이중성을 강제하는 제약 최적화 문제의 형식화.
• Lagrange 승수를 이용해 해결 가능한 이중성 기반 정규화 항을 포함하는 실용적 알고리즘의 개발.
• 머신 번역, 이미지 처리, 감정 분석에서 DSL의 효과 demonstrated.
• 데이터 의존적 정규화로서의 DSL 작용과 일반화에 대한 영향 분석

제안 방법

• 조건 분포 P(y|x;θ_xy) 및 P(x|y;θ_yx)로 primal 및 dual 작업 정의.
• 확률적 이중성 제약 P(x)P(y|x)=P(y)P(x|y) 를 도입하고 Lagrangian 기반 정규화 항으로 이를 완화.
• 미니 배치에서 표준 손실과 이중성 정규화 항의 가중 합을 최소화.
• 언어 모델이나 클래스 분포를 통해 주변 확률 ŜP(x)와 ŜP(y)를 추정해 정규화를 계산.
• λ 하이퍼파라미터가 이중성 정규화를 제어하는 표준 옵티마이저(SGD, Adam)로 두 모델을 함께 학습

실험 결과

연구 질문

• RQ1 쌍으로 된 작업 간 확률적 이중성을 활용해 두 작업 모두의 성능이 향상될 수 있는가?
• RQ2 프라이멀 및 듀얼 모델 간의 이중성을 실용적인 학습 objective에 어떻게 포함시킬 수 있는가?
• RQ3 정규화된 이중성이 번역 품질, 이미지 분류/생성, 감정 분석에 어떤 영향을 미치는가?
• RQ4 DSL에서 주변 분포가 이중성 정규화를 어떻게 정보로 제공하고 안정화하는가?

주요 결과

작업	RNNSearch	DSL	Δ
En → Fr	29.92	31.99	2.07
Fr → En	27.49	28.35	0.86
En → De	16.54	17.91	1.37
De → En	20.69	20.81	0.12
En → Zh (MT08)	15.45	15.87	0.42
Zh → En (MT08)	31.67	33.59	1.92
En → Zh (MT12)	15.05	16.10	1.05
Zh → En (MT12)	30.54	32.00	1.46

• DSL은 세 가지 적용 분야 모두에서 성능을 향상시켰다: 번역(BLEU)에서 En↔Fr, En↔De, En↔Zh 간의 증가, 이미지 분류에서 오류율 감소, 이미지 생성에서 비트/차원(BPD) 감소.
• En↔Fr 번역에서 DSL은 BLEU 증가를 각각 +2.07 (En→Fr) 및 +0.86 (Fr→En)로 달성했다.
• En↔De 번역에서 DSL은 BLEU 증가를 각각 +1.37 (En→De) 및 +0.12 (De→En)로 달성했다.
• En↔Zh 번역에서 DSL은 BLEU 증가를 각각 +0.42 (En→Zh MT08), +1.92 (Zh→En MT08), +1.05 (En→Zh MT12), 및 +1.46 (Zh→En MT12)로 달성했다.
• CIFAR-10에서 DSL은 ResNet-110의 오류를 6.43에서 5.40으로 감소시켰고 PixelCNN++ 생성 성능도 개선했다(상태 예측 최적 bpd 2.93은 ResNet-110).
• 감정 분석(IMDB)에서 DSL은 분류 오차를 0.90 포인트 감소시키고 말뭉치 perplexity를 소폭 개선했다.