[論文レビュー] Concept-Oriented Deep Learning

Daniel T. Chang|arXiv (Cornell University)|Jun 5, 2018

Topic Modeling参考文献 10被引用数 6

ひとこと要約

この論文は、明示的な概念表現、概念グラフ、概念的理解を統合することで、解釈可能性、移行性、データ効率性を向上させる、Concept-Oriented Deep Learning (CODL) というフレームワークを紹介する。概念の例示と段階的学習を統合することで、CODL は機械が人間と同様の概念で学習・推論できるようにし、大規模なラベル付きデータセットへの依存を低減するとともに、文脈適応性と継続的学習を支援する。

ABSTRACT

Concepts are the foundation of human deep learning, understanding, and knowledge integration and transfer. We propose concept-oriented deep learning (CODL) which extends (machine) deep learning with concept representations and conceptual understanding capability. CODL addresses some of the major limitations of deep learning: interpretability, transferability, contextual adaptation, and requirement for lots of labeled training data. We discuss the major aspects of CODL including concept graph, concept representations, concept exemplars, and concept representation learning systems supporting incremental and continual learning.

研究の動機と目的

• 深層学習の主な限界、すなわち解釈性の低さ、移行性の制限、高コストなデータ要件を是正すること。
• 機械が人間が理解できる概念で学習・推論できるようにし、人間の認知プロセスを模倣すること。
• 動的で概念ベースの表現と段階的学習メカニズムを通じて、文脈適応性と継続的学習を支援すること。
• 概念レベルの理解と例示を活用することで、大規模なラベル付きデータセットへの依存を低減すること。
• 概念グラフと概念的表現を深層学習アーキテクチャに統合し、知識の移行性と推論性能を向上させること。

提案手法

• CODL は、概念とその関係性を整理する概念グラフ構造を導入し、構造的な知識表現を可能にする。
• 意味的意味と概念間の関係性を捉える分散表現（埋め込み）を用いた概念表現を採用する。
• 概念の例示（exemplars）を用いて、抽象的な概念を具体的な例に根拠づけ、解釈可能性と文脈適応性を向上させる。
• 表現学習システムを介して、時間経過とともに概念埋め込みを更新することで、段階的かつ継続的学習を支援する。
• 深層ニューラルネットワークに概念レベルの推論を統合し、エンドツーエンド学習とシンボリック推論の両方を可能にする。
• 異なるドメイン間で共有される概念表現を再利用・精錬することで、タスク間での転移学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして深層学習モデルに明示的な概念表現を統合することで、解釈性と人間らしい推論を向上させられるか？
• RQ2 概念志向型学習は、深層学習における大規模なラベル付きデータセットの必要性をどの程度低減できるか？
• RQ3 概念グラフと例示は、機械学習システムにおけるより優れた移行性と文脈適応性を実現できるか？
• RQ4 概念ベースの深層学習フレームワーク内での継続的・段階的学習を効果的にサポートする方法は何か？
• RQ5 シンボリックな概念表現をニューラルネットワークアーキテクチャに統合した場合、モデルの性能と一般化能力にどのような影響を与えるか？

主な発見

• CODL は、明示的な概念定義により内部表現に意味的意味を持たせることで、モデルの解釈性を顕著に向上させる。
• 共有された概念表現の再利用と精錬により、タスク間での効果的な転移学習が可能になる。
• 概念の例示を組み込むことで、最小限の再トレーニングで新しい環境に適応できるように、文脈適応性が向上する。
• 段階的学習メカニズムにより、災難的忘却を回避しながら新しい概念を学習でき、生涯学習を支援する。
• 概念レベルの監視と少数の例示学習を活用することで、大規模なラベル付きデータセットへの依存を低減する。
• 概念グラフの統合により、ゼロショットおよび少数ショット学習の状況でも構造的推論と一般化性能が向上する。