[論文レビュー] KINN: Incorporating Expert Knowledge in Neural Networks

Muhammad Ali Chattha, Shoaib Ahmed Siddiqui+4 more|arXiv (Cornell University)|Feb 15, 2019

Machine Learning and Data Classification参考文献 8被引用数 10

ひとこと要約

KINNは、専門家予測と深層ニューラルネットワーク（特にLSTM）を組み合わせることで、モデル性能を向上させる画期的な残差知識統合フレームワークを提案する。特にデータが乏しい状況下でも有効である。専門家予測を模倣する代わりに、それらの補正項を学習することで、データ依存性を低減し、性能の下限を保証するとともに、専門家予測がノイズが多いか誤りであっても、交通フローモデル予測において、独立したモデルよりも優れた性能を発揮する。

ABSTRACT

The promise of ANNs to automatically discover and extract useful features/patterns from data without dwelling on domain expertise although seems highly promising but comes at the cost of high reliance on large amount of accurately labeled data, which is often hard to acquire and formulate especially in time-series domains like anomaly detection, natural disaster management, predictive maintenance and healthcare. As these networks completely rely on data and ignore a very important modality i.e. expert, they are unable to harvest any benefit from the expert knowledge, which in many cases is very useful. In this paper, we try to bridge the gap between these data driven and expert knowledge based systems by introducing a novel framework for incorporating expert knowledge into the network (KINN). Integrating expert knowledge into the network has three key advantages: (a) Reduction in the amount of data needed to train the model, (b) provision of a lower bound on the performance of the resulting classifier by obtaining the best of both worlds, and (c) improved convergence of model parameters (model converges in smaller number of epochs). Although experts are extremely good in solving different tasks, there are some trends and patterns, which are usually hidden only in the data. Therefore, KINN employs a novel residual knowledge incorporation scheme, which can automatically determine the quality of the predictions made by the expert and rectify it accordingly by learning the trends/patterns from data. Specifically, the method tries to use information contained in one modality to complement information missed by the other. We evaluated KINN on a real world traffic flow prediction problem. KINN significantly superseded performance of both the expert and as well as the base network (LSTM in this case) when evaluated in isolation, highlighting its superiority for the task.

研究の動機と目的

• 医療や異常検出の分野においてラベル付きデータが乏しい状況で、深層ニューラルネットワークの高いデータ依存性に対処すること。
• データ駆動型の深層学習と専門家知識ベースのシステムの間のギャップを埋め、両者のモダリティを建設的に統合すること。
• 専門家予測が信頼できないかノイズが多い場合でも、性能を維持できるフレームワークを開発すること。
• 専門家モデルとニューラルネットワークの長所を組み合わせることで、性能の下限を保証すること。
• 正確性を損なわずに、知識統合学習により訓練時間とデータ要件を削減すること。

提案手法

• KINNは、入力から出力への完全なマッピングを学習する代わりに、専門家予測の補正項を学習する残差学習方式を採用する。
• モデルは、入力データと専門家予測の両方を入力とし、専門家予測はネットワーク内の別々のチャネルに供給される。
• 最終的な予測は、専門家予測とネットワークが学習した残差の和として計算される：$\hat{x}_t = \phi([x_{t-1},...,x_{t-p}, \hat{x}^p_t]; \mathcal{W}) + \text{residual}$。
• ネットワークは平均二乗誤差（MSE）損失を用いてエンドツーエンドで訓練され、信頼できない専門家入力を自動的に低重みに割り当てる学習が可能になる。
• フレームワークは柔軟であり、高品質な専門家予測を仮定しないため、専門家知識が劣っている場合にはデータ駆動型学習に自動的にフォールバックできる。
• アーキテクチャは、LSTMをベースネットワークとして用い、実世界の交通フローモデル予測タスクで評価され、データ不足と専門家予測の品質に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 専門家知識を深層ニューラルネットワークに効果的に統合することで、大規模なラベル付きデータセットへの依存を軽減できるか？
• RQ2 専門家予測を模倣する代わりに、それに対する残差補正を学習することで、ニューラルネットワークの性能はどのように変化するか？
• RQ3 専門家予測がノイズが多い、誤りである、あるいはまったく情報を持たない場合、何が起こるか？
• RQ4 統合フレームワークが、専門家モデルとニューラルネットワークの両方の最良の性能に基づいて、性能の下限を提供できるか？
• RQ5 データ不足の下で、収束速度と一般化性能が、残差知識統合方式によって向上するか？

主な発見

• KINNは、交通フローモデル予測において、独立したLSTMと専門家モデルの両方を著しく上回り、最良の全体的性能を達成した。
• 訓練データの10％のみでさえ、KINNは安定した性能を維持した。これは、データ内に強い季節的パターンが存在するためであり、データ効率性を示している。
• 専門家予測がノイズが多いかゼロの場合、KINNの性能はLSTM単体と同等になった。これは、無益な専門家入力を無視できることを証明している。
• 遅延した専門家予測の場合は、ネットワークが専門家チャネルにほとんど重みを割り当てず、効果的に標準的な学習に還元した。
• KINNのMSEは、2つの個別モデル（LSTMまたは専門家）のうち最も良いもののMSEを超えることはなかった。これは、両者の長所を組み合わせた最良の結果を達成していることを確認している。
• KINNは収束が速く、特にデータ不足や専門家予測の品質が低い状況でもロバスト性が向上した。これは、残差統合戦略の有効性を裏付けている。