[論文レビュー] Dual Supervised Learning

Yingce Xia, Tao Qin+4 more|arXiv (Cornell University)|Jul 3, 2017

Natural Language Processing Techniques被引用数 72

ひとこと要約

Dual Supervised Learning (DSL) は、確率的デュアル性を強制することで primal と dual のタスクを同時に訓練し、翻訳、画像処理、感情分析の性能を向上させます。

ABSTRACT

Many supervised learning tasks are emerged in dual forms, e.g., English-to-French translation vs. French-to-English translation, speech recognition vs. text to speech, and image classification vs. image generation. Two dual tasks have intrinsic connections with each other due to the probabilistic correlation between their models. This connection is, however, not effectively utilized today, since people usually train the models of two dual tasks separately and independently. In this work, we propose training the models of two dual tasks simultaneously, and explicitly exploiting the probabilistic correlation between them to regularize the training process. For ease of reference, we call the proposed approach \emph{dual supervised learning}. We demonstrate that dual supervised learning can improve the practical performances of both tasks, for various applications including machine translation, image processing, and sentiment analysis.

研究の動機と目的

• 対になったタスク間の固有のデュアリティを活用して両方のタスクを改善する動機づけ。
• primal と dual モデル間の確率的デュアル性を強制する制約付き最適化問題の定式化。
• ラグランジュ乗数法で解けるデュアリティベースの正則化項を用いた実用的なアルゴリズムの開発。
• 機械翻訳、画像処理、感情分析の各領域における DSL の有効性の実証。
• DSL がデータ依存の正則化として機能する方法と、それが汎化性能に与える影響の分析。

提案手法

• 条件分布 P(y|x;θ_xy) および P(x|y;θ_yx) を用いて primal および dual タスクを定義する。
• 確率的デュアル性の制約 P(x)P(y|x)=P(y)P(x|y) を導入し、ラグランジュ形式の正則化項で緩和する。
• 標準損失とデュアリティ正則化項の加重和をミニバッチ上で最小化する。
• 言語モデルやクラス分布を用いて周辺分布 ŜP(x) および ŜP(y) を推定し正則化を計算する。
• デュアリティ正則化を制御する lambda ハイパーパラメータと共に、標準的な最適化手法（例: SGD、Adam）を用いて両方のモデルを joint 学習する。

実験結果

リサーチクエスチョン

• RQ1 対になったタスク間の確率的デュアリティを活用して、両方のタスクの性能を向上させることができるか？
• RQ2 primal と dual モデル間のデュアリティを実用的な訓練目的にどのように組み込むことができるか？
• RQ3 翻訳品質、画像分類/生成、感情分析に対するデュアリティ正則化の影響は何か？
• RQ4 周辺分布は DSL におけるデュアリティ正則化をどのように導き安定化させるか？

主な発見

Task	RNNSearch	DSL	Δ
En → Fr	29.92	31.99	2.07
Fr → En	27.49	28.35	0.86
En → De	16.54	17.91	1.37
De → En	20.69	20.81	0.12
En → Zh (MT08)	15.45	15.87	0.42
Zh → En (MT08)	31.67	33.59	1.92
En → Zh (MT12)	15.05	16.10	1.05
Zh → En (MT12)	30.54	32.00	1.46

• DSL は三つの応用領域すべてで性能を向上させる：翻訳（En↔Fr、En↔De、En↔Zh で BLEU 増加）、画像分類（誤差率の低下）、画像生成（ビット/次元の低下）。
• En→Fr 翻訳で、DSL は BLEU 増加 +2.07（En→Fr）および +0.86（Fr→En）をもたらす。
• En→De 翻訳で、DSL は BLEU 増加 +1.37（En→De）および +0.12（De→En）をもたらす。
• En↔Zh 翻訳で、DSL は BLEU 増加 +0.42（En→Zh MT08）、+1.92（Zh→En MT08）、+1.05（En→Zh MT12）、+1.46（Zh→En MT12）をもたらす。
• CIFAR-10 で、DSL は ResNet-110 のエラーを 6.43 から 5.40 に低減させ、PixelCNN++ 生成を改善（ResNet-110 で最先端の bpd 2.93）。
• 感情分析（IMDB）で、DSL は分類エラーを 0.90 ポイント低減し、困難性をわずかに改善した。