[論文レビュー] Semi-Supervised Learning with Multi-View Embedding: Theory and Application with Convolutional Neural Networks.

Rie Johnson, Tong Zhang|arXiv (Cornell University)|Apr 6, 2015

Topic Modeling参考文献 15被引用数 7

ひとこと要約

本稿では、畳み込みニューラルネットワークを用いたマルチビュー埋め込みを用いた半教師あり学習フレームワークを提案し、テキスト分類の性能を向上させることを目的としている。ラベルなしデータを用いて、一方の小さなテキスト領域のビューからもう一方のビューを予測するようにモデルを学習させることで、感情分類およびトピック分類タスクで最先端の性能を達成した。

ABSTRACT

This paper presents a theoretical analysis of multi-view embedding -- feature embedding that can be learned from unlabeled data through the task of predicting one view from another. We prove its usefulness in supervised learning under certain conditions. The result explains the effectiveness of some existing methods such as word embedding. Based on this theory, we propose a new semi-supervised learning framework that learns a multi-view embedding of small text regions with convolutional neural networks. The method derived from this framework outperforms state-of-the-art methods on sentiment classification and topic categorization.

研究の動機と目的

• ラベルなしデータを用いたマルチビュー埋め込みの有用性を理論的に正当化すること。
• テキスト分類のためのマルチビュー埋め込みを活用する新しい半教師あり学習フレームワークを開発すること。
• 畳み込みニューラルネットワークを用いて、小さな領域におけるマルチビュー埋め込みを効果的に学習すること。
• 従来の手法と比較して、感情分類およびトピック分類タスクで優れた性能を示すこと。

提案手法

• 本手法は、ラベルなしデータを用いて、一方のビューからもう一方のビューを再構築するようにモデルを学習させることでマルチビュー埋め込みを学習する。
• 畳み込みニューラルネットワークを用いて、小さなテキスト領域から階層的特徴を抽出し、マルチビュー表現学習を実現する。
• 自己教師あり目的として、ビュー間の対照的予測を用いて表現学習をガイドする。
• 学習された埋め込みは、感情分類やトピック分類などの下流の教師ありタスクでファインチューニングされる。
• 無作為事前学習と教師ありファインチューニングを統合することで、一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー埋め込みが教師あり学習性能を向上させる条件は何か？
• RQ2 ラベルなしデータから学習したマルチビュー埋め込みは、下流のテキスト分類タスクを向上させることができるか？
• RQ3 提案されたCNNベースのフレームワークは、感情分類において最先端の半教師あり手法と比較してどのように異なるか？
• RQ4 本手法は、トピック分類のような異なるテキスト分類タスクにどの程度一般化可能か？

主な発見

• 理論的分析により、データに特定の構造的条件が満たされている場合、マルチビュー埋め込みは教師あり学習の性能向上に寄与することが確認された。
• 提案手法は、感情分類ベンチマークにおいて、最先端の半教師あり学習手法を上回った。
• トピック分類タスクにおいても、既存のアプローチと比較して優れた結果を達成した。
• 畳み込みニューラルネットワークの活用により、小さなテキスト領域からの局所的でマルチビューの表現が効果的に学習可能となった。