[論文レビュー] Patterns for Learning with Side Information

Rico Jonschkowski, Sebastian Höfer+1 more|arXiv (Cornell University)|Nov 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 16

ひとこと要約

本論文は、補助情報（サイドインフォメーション）を用いた学習の統一的枠組みを提示し、直接的、マルチタスク型、マルチビュー型、表現学習型の4つの明確なパターンを特定することで、入力や出力に含まれない補助データを一般化性能の向上に系統的に統合する。主な貢献は、性能が、側情報の種別に適切なパターンを選択することに大きく依存することを示したことであり、適切な一致がなされた場合に顕著な性能向上が得られることを体系的な実験で検証した。

ABSTRACT

Supervised, semi-supervised, and unsupervised learning estimate a function given input/output samples. Generalization of the learned function to unseen data can be improved by incorporating side information into learning. Side information are data that are neither from the input space nor from the output space of the function, but include useful information for learning it. In this paper we show that learning with side information subsumes a variety of related approaches, e.g. multi-task learning, multi-view learning and learning using privileged information. Our main contributions are (i) a new perspective that connects these previously isolated approaches, (ii) insights about how these methods incorporate different types of prior knowledge, and hence implement different patterns, (iii) facilitating the application of these methods in novel tasks, as well as (iv) a systematic experimental evaluation of these patterns in two supervised learning tasks.

研究の動機と目的

• マルチタスク学習、マルチビュー学習、特権情報付き学習といった、従来は別個に扱われてきた機械学習手法を、補助情報の学習という共通の枠組みに統合すること。
• 補助情報をモデルの一般化性能を向上させるためにどのように利用できるかを明確にし、その背後にある仮定（パリティ）を形式化すること。
• 利用可能な補助情報の性質と学習タスクに応じて、最も効果的なパターンを体系的に選択するための手法を提供すること。
• 補助情報の構造と仮定された関数的関係との一致が、パターンの有効性に与える影響を実証的に検証すること。
• 公開実装と包括的な文献レビューを通じて、実用的応用を促進すること。

提案手法

• 補助情報 𝒛 が入力 𝒙 や出力 𝒚 の空間に属さないが、関数 f(𝒙) = 𝒚 と関連するという、補助情報の学習の形式的定式化を提案する。
• 4つの主要なパターン（1）直接的パターン、（2）マルチタスクパターン、（3）マルチビューパターン、（4）表現学習パターンを特定し、それぞれが補助情報と目的関数との関係について異なる仮定を内蔵していることを明らかにする。
• これらのパターンを用いて、異なる種類の補助情報（例：連続的 vs. 離散化された軌道）が学習性能に与える影響を体系的に比較・分析する。
• 手書き文字認識と軌道予測という教師あり学習タスクを用い、連続的および離散化された補助情報を用いて、パターンの有効性を評価する。
• 事前学習／ファインチューニング、分離型、同時最適化といった訓練手順を適用し、最適化戦略ごとのロバストネスと一般化性能を評価する。
• コードを https://github.com/tu-rbo/concarne で公開し、再現性および新規タスクへの応用を支援する。

実験結果

リサーチクエスチョン

• RQ1 多様な機械学習手法が暗黙的に補助情報を用いている場合、それらを一つの概念的枠組みに統合する方法は何か？
• RQ2 補助情報を学習に組み込む明確な方法は何か？ それぞれの方法がどのような仮定（パリティ）を内蔵しているか？
• RQ3 特定のパターンの有効性は、補助情報の構造と仮定された関数的関係との一致に依存するか？
• RQ4 提案された枠組みは、与えられた学習タスクと補助情報の種別に最も適したパターンの選択をどのように支援できるか？
• RQ5 補助情報の学習は、現実世界の教師あり学習タスクにおいて一般化性能をどの程度向上させ得るか？

主な発見

• 手書き文字認識において離散化された補助情報を用いる場合、マルチタスクパターンは必要なラベル数を顕著に削減し、他のパターンよりも優れた性能を示した。
• 連続的補助情報（例：ペンの軌道）を用いる場合、直接的パターンはわずかな改善をもたらすが、マルチタスクおよびマルチビューパターンは限定的な向上にとどまるため、パターンとタスクの整合性が極めて重要であることが示された。
• 離散化された補助情報を用いたマルチタスクパターンは、訓練手順の変化に対して頑健であることが確認され、主な目的とは独立した安定した中間表現を学習している可能性が示された。
• 補助情報の種別が、選択したパターンが内蔵する誘導的バイアス（inductive bias）と一致する場合に、性能向上が顕著に現れ、パターンの有効性が事前知識の整合性に依存することを確認した。
• 表現学習パターンは、補助情報が構造的関係を捉えている場合に、解離可能で意味のある表現を効果的に学習できることを示した。
• この枠組みにより、新規タスクへの補助情報の体系的応用が可能となり、適切なパターン選択がサンプル効率性と一般化性能の大幅な向上をもたらすことが実証された。