[論文レビュー] GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations

Zhilin Yang, Junbo Zhao+5 more|arXiv (Cornell University)|Jun 14, 2018

Advanced Graph Neural Networks参考文献 44被引用数 30

ひとこと要約

GLoMoは、大規模なラベルなしデータから、タスクに依存しない転送可能な関係的グラフを学習する教師なしフレームワークを提案する。ニューラルネットワークが入力ユニット（例：語やピクセル）間の依存関係を捉える類縁行列を予測する。これらのグラフは、事前学習された埋め込みや画像特徴など、さまざまな特徴表現と組み合わせることで、自然言語処理および視覚タスクの多様な分野で性能を向上させ、訓練データを超えた強力な汎化性と転送可能性を示している。

ABSTRACT

Modern deep transfer learning approaches have mainly focused on learning generic feature vectors from one task that are transferable to other tasks, such as word embeddings in language and pretrained convolutional features in vision. However, these approaches usually transfer unary features and largely ignore more structured graphical representations. This work explores the possibility of learning generic latent relational graphs that capture dependencies between pairs of data units (e.g., words or pixels) from large-scale unlabeled data and transferring the graphs to downstream tasks. Our proposed transfer learning framework improves performance on various tasks including question answering, natural language inference, sentiment analysis, and image classification. We also show that the learned graphs are generic enough to be transferred to different embeddings on which the graphs have not been trained (including GloVe embeddings, ELMo embeddings, and task-specific RNN hidden unit), or embedding-free units such as image pixels.

研究の動機と目的

• 特徴ベースの転移学習を越えて、ラベルなしデータから汎用的でタスクに依存しない関係的グラフを学習すること。
• グラフ構造を特徴表現から分離し、異なる特徴タイプに同じグラフ構造を再利用可能にする。
• 長距離依存関係を捉える普遍的な関係的構造を学習するデータ駆動型の教師なし手法を開発すること。
• 事前学習された埋め込みや生のピクセルを含む多様な入力表現を用いて、学習したグラフの転送可能性を下流タスクで示すこと。
• 自然言語および視覚ドメインの両方でフレームワークの有効性を検証し、元の訓練モodalitにとらわれない汎化性を示すこと。

提案手法

• 大規模なラベルなしシーケンス上で、グラフ予測ネットワーク $g$ と特徴予測ネットワーク $f$ を対照的損失を用いて同時に学習し、予測された表現と真の表現の整合性を促進する。
• 各エントリ $G_{ij}$ が入力ユニット $x_i$ と $x_j$ 間の依存関係を符号化する非対称的・有向的・重み付き類縁行列 $\mathbf{G}$ を学習し、計算の安定性を確保するため列正規化を実施する。
• グラフ予測を特徴学習から分離し、GloVe、ELMo、RNNの隠れ状態、画像ピクセルなど、異なる特徴タイプに同じグラフ構造を適用可能にする。
• 複数のヘッドを用いた階層的グラフ表現を採用し、マルチスケールの依存関係をモデル化し、表現力を向上させる。
• タスク固有の特徴と行列乗算を適用することで、構造に配慮した表現を生成する。
• シーケンス予測目的およびユニットレベルの目的を最適化し、意味的でスパースかつ解釈可能な関係的パターンを学習するようにモデルを促進する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータからの関係的グラフの教師なし学習が、下流タスクの性能を向上させる転送可能な表現を生み出せるか？
• RQ2 同じ関係的グラフ構造が、事前学習された埋め込みや生のピクセルを含む多様な入力表現に効果的に適用可能か？
• RQ3 スパarsity、階層性、分離性といったアーキテクチャ的選択が、学習されたグラフの品質および汎化性に与える影響はいかほどか？
• RQ4 学習されたグラフが、自然言語および視覚タスクの両方で長距離依存関係をどの程度正確に捉えられるか？
• RQ5 グラフベースの表現が、多様な自然言語処理および視覚ベンチマークにおいて、従来の特徴ベースの転移学習を上回るか、あるいは補完するか？

主な発見

• GLoMoは、質問応答、自然言語推論、感情分析といった複数の自然言語処理タスクで、タスク固有の特徴と学習された関係的グラフを統合することで性能を向上させた。
• GloVe埋め込み、ELMo表現、タスク固有のRNN隠れ状態など、さまざまな特徴タイプにおいて一貫した向上を達成し、強力な転送可能性を示した。
• ピクセルレベルの特徴に適用した場合、GLoMoは画像分類性能を向上させ、自然言語を越えて視覚タスクへの汎化性を示した。
• 学習されたグラフはスパースかつ階層的であり、依存関係木のような人間によるアノテーション構造と整合する意味的な長距離依存関係を捉えていた。
• グラフ予測器の注意重みの可視化から、モデルがキーポイントピクセルを効果的に接続していることが明らかになった。
• アブレーションスタディにより、グラフと特徴の分離、スパarsity、ユニットレベルの目的が、汎用的で効果的な関係的構造を学習するために不可欠であることが確認された。