[論文レビュー] Informed Pre-Training on Prior Knowledge

Laura von Rueden, Sebastian Houben+3 more|arXiv (Cornell University)|May 23, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、グラフ、方程式、またはテンプレートなどの形式的知識表現を、ニューラルネットワークの事前学習に適したコンパクトな知識プロトタイプに変換することで、事前知識に基づくインフォームドな事前学習を導入する。この手法は収束を加速させ、小規模データにおける画像分類で一般化性能を最大11%向上させ、分布外のロバストネスを15%向上させる。主な向上は、深層ネットワークの高レベルな意味的特徴に起因しており、従来のデータベースの事前学習とは異なる、新たな形の意味的転送を示している。

ABSTRACT

When training data is scarce, the incorporation of additional prior knowledge can assist the learning process. While it is common to initialize neural networks with weights that have been pre-trained on other large data sets, pre-training on more concise forms of knowledge has rather been overlooked. In this paper, we propose a novel informed machine learning approach and suggest to pre-train on prior knowledge. Formal knowledge representations, e.g. graphs or equations, are first transformed into a small and condensed data set of knowledge prototypes. We show that informed pre-training on such knowledge prototypes (i) speeds up the learning processes, (ii) improves generalization capabilities in the regime where not enough training data is available, and (iii) increases model robustness. Analyzing which parts of the model are affected most by the prototypes reveals that improvements come from deeper layers that typically represent high-level features. This confirms that informed pre-training can indeed transfer semantic knowledge. This is a novel effect, which shows that knowledge-based pre-training has additional and complementary strengths to existing approaches.

研究の動機と目的

• 限られたラベル付きデータで深層ニューラルネットワークを訓練する課題に対処するため、構造的な事前知識を統合すること。
• 要約された形式的知識表現（例：グラフ、方程式、視覚的テンプレート）に基づく事前学習が、標準的なデータベースの事前学習を上回るモデル性能を向上させることを検証すること。
• 知識ベースの事前学習が、低レベルのパターンではなく、意味的で高レベルの特徴を転送するかを調査すること。
• データベースの（例：ImageNet）および知識ベースの事前学習の併用による相乗効果を評価すること。
• 形式的知識をプロトタイプとして用いる、普遍的かつドメインに依存しないモデル初期化手法の開発

提案手法

• グラフ、方程式、視覚的テンプレートなどの形式的事前知識を、コンパクトで凝縮された知識プロトタイプのデータセットに変換する。
• 実際の限られた学習データに微調整する前に、これらの知識プロトタイプでニューラルネットワークを事前学習する。
• 標準的なディープラーニングアーキテクチャ（例：CNN）を用い、層ごとの寄与度を分析することで転移学習を実施する。
• 知識プロトタイプでの事前学習の影響を、ランダム初期化、ImageNetでの事前学習、並列的な知識統合といったベースライン手法と比較する。
• 一般性を評価するため、分類（GTSRB、MNIST、USPS）および回帰（NOAA CO2）の両方のタスクにこの手法を適用する。
• テスト精度を測定しながら、事前学習モデルの層を段階的に凍結・転送することで、特徴転送を分析する。

実験結果

リサーチクエスチョン

• RQ1 要約された形式的知識プロトタイプでの事前学習が、低データ環境下でのモデル性能を向上させられるか？
• RQ2 知識ベースの事前学習が、低レベルの視覚的パターンではなく、意味的で高レベルの特徴を転送するか？
• RQ3 パフォーマンスおよび層レベルの寄与度の観点から、インフォームドな事前学習は従来のデータベースの事前学習と比べてどのように異なるか？
• RQ4 データベースの事前学習と知識ベースの事前学習を組み合わせることでさらなる向上が得られるか？
• RQ5 提案手法は、多様なドメインおよび知識表現タイプに適用可能か？

主な発見

• 知識プロトタイプでの事前学習により、MNIST や GTSRB などの小規模データ画像分類ベンチマークでテスト精度が最大11%向上した。
• 分布外のロバストネスが15%向上し、未学習のデータ分布への一般化性能が強化された。
• 性能向上は主に、高レベルの意味的特徴を表す深層ネットワークの後段層に起因しており、意味的知識が効果的に転送されていることを確認した。
• 標準的な事前学習とは異なり、早期層ではなく後段層が向上するため、インフォームドな転移学習の新たなメカニズムが明らかになった。
• ImageNetでの事前学習に続く知識ベースの事前学習を組み合わせることで、テスト精度がさらに13%向上した。これにより、両者の相乗効果が示された。
• 並列的な知識統合手法を上回り、特に事前学習ステップとして使用した場合に最も効果的であり、新しいデータへの適応の柔軟性を保った。