[論文レビュー] Correlational Neural Networks

Sarath Chandar, Mitesh M. Khapra+2 more|arXiv (Cornell University)|Apr 27, 2015

Natural Language Processing Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、共有潜在空間における再構築と視点間相関の両方を同時に最適化する深層学習フレームワーク、相関ニューラルネットワーク（CorrNet）を提案する。再構築を自動エンコーダーに基づいてスケーラブルに実現するとともに、訓練中に相関を明示的に最大化することで、転移学習、欠損視点の再構築、多言語表現学習の分野で最先端の手法を上回り、特に多言語間タスクにおいて顕著な性能向上を達成した。

ABSTRACT

Common Representation Learning (CRL), wherein different descriptions (or views) of the data are embedded in a common subspace, is receiving a lot of attention recently. Two popular paradigms here are Canonical Correlation Analysis (CCA) based approaches and Autoencoder (AE) based approaches. CCA based approaches learn a joint representation by maximizing correlation of the views when projected to the common subspace. AE based methods learn a common representation by minimizing the error of reconstructing the two views. Each of these approaches has its own advantages and disadvantages. For example, while CCA based approaches outperform AE based approaches for the task of transfer learning, they are not as scalable as the latter. In this work we propose an AE based approach called Correlational Neural Network (CorrNet), that explicitly maximizes correlation among the views when projected to the common subspace. Through a series of experiments, we demonstrate that the proposed CorrNet is better than the above mentioned approaches with respect to its ability to learn correlated common representations. Further, we employ CorrNet for several cross language tasks and show that the representations learned using CorrNet perform better than the ones learned using other state of the art approaches.

研究の動機と目的

• 既存の共通表現学習手法の限界、特にCCAのスケーラビリティの低さと自動エンコーダーの明示的相関学習の欠如を解消すること。
• 再構築と、共有部分空間におけるその投影の間の相関を同時に実現できるスケーラブルな深層学習手法を構築すること。
• 実世界の応用で一般的な並列でない単一視点データを活用できるようにし、従来の手法が十分に活用できていない状況を改善すること。
• 学習された表現を用いて、多言語ドキュメント分類や表記変換同等検出といった下流タスクの性能を向上させること。

提案手法

• CorrNetは、2つの視点XとYに対して、共有潜在層を備えた深層自動エンコーダー構造を採用し、共通のk次元表現を学習する。
• モデルは、自己再構築と相互再構築の両方の再構築損失を含む組み合わせ損失関数を用いて訓練される。
• 共有空間におけるXとYの投影表現間の相関を明示的に最大化するための新しい相関正則化項が導入されている。
• 訓練手順はスケーラブルであり、追加の単一視点データを組み込むことができる。これにより、ペaired例が不要な状況でも表現品質が向上する。
• 2ストリームのエンコーダーとデコーダー構造を採用し、ボトルネック層で重みを共有することで共通表現を強制する。
• 潜在次元数や学習率などのハイパーパrameterは検証データを用いて調整され、評価では固定次元（例：L=384）が使用された。

実験結果

リサーチクエスチョン

• RQ1 共通表現空間における視点間の相関を明示的に最大化しつつ再構築能力を維持できる、深層自動エンコーダーに基づく手法を設計できるか？
• RQ2 CorrNetは、CCAや他の自動エンコーダーに基づく手法と比較して、転移学習および再構築タスクにおけるスケーラビリティと性能で優れているか？
• RQ3 CorrNetは、並列でない単一視点データを有効に活用することで、リソースが限られた状況での表現品質を向上させることができるか？
• RQ4 相関のある共通表現を用いることで、ドキュメント分類や表記変換同等検出のような多言語タスクにおける性能が向上するか？
• RQ5 CorrNetは、bigram類似度予測といった単言語タスクにおいて、DCCAEのような最先端手法を上回ることができるか？

主な発見

• CorrNetはbigram類似度データセットで46.8のスピアマン順位相関を達成し、前回のSOTA手法DCCAE（46.2）を平均的に上回った。
• 多言語ドキュメント分類タスクでは、CCA、DCCA、DCCAEを上回る高い正答率を達成し、優れた転移学習性能を示した。
• 表記変換同等検出では、すべてのベースライン手法を上回り、多言語語彙形の整合性が向上した。
• 500ユニットと384次元潜在空間（CorrNet-500-384）を備えたモデルが、全評価タスクで最良の結果を出した。
• CorrNetは欠損視点を高い忠実度で再構築でき、マルチビューデータの補完能力を確認した。
• 他の手法（例：CCA）が効果的に活用できない単一視点データからのスケーラビリティと一般化の利点を示した。