[論文レビュー] HAMLET: Interpretable Human And Machine co-LEarning Technique

Olivier Deiss, Siddharth Biswal+4 more|arXiv (Cornell University)|Mar 26, 2018

EEG and Brain-Computer Interfaces参考文献 8被引用数 11

ひとこと要約

HAMLET は、エキスパートのフィードバックと解釈可能なリファレンス埋め込みを繰り返し用いてラベルを精錬することで、ノイズが多く、ラベル付けが難しい医療データにおけるディープラーニングの性能を向上させる人間と機械の共同学習フレームワークです。ニューラル埋め込み、リファレンスパターンのメモリモジュール、説明可能なフィードバックを組み合わせることで、連続的 EEG データに対する分類精度を 7.03% から 68.75% まで向上させ、モデルの精度と臨床的解釈可能性の両方を向上させます。

ABSTRACT

Efficient label acquisition processes are key to obtaining robust classifiers. However, data labeling is often challenging and subject to high levels of label noise. This can arise even when classification targets are well defined, if instances to be labeled are more difficult than the prototypes used to define the class, leading to disagreements among the expert community. Here, we enable efficient training of deep neural networks. From low-confidence labels, we iteratively improve their quality by simultaneous learning of machines and experts. We call it Human And Machine co-LEarning Technique (HAMLET). Throughout the process, experts become more consistent, while the algorithm provides them with explainable feedback for confirmation. HAMLET uses a neural embedding function and a memory module filled with diverse reference embeddings from different classes. Its output includes classification labels and highly relevant reference embeddings as explanation. We took the study of brain monitoring at intensive care unit (ICU) as an application of HAMLET on continuous electroencephalography (cEEG) data. Although cEEG monitoring yields large volumes of data, labeling costs and difficulty make it hard to build a classifier. Additionally, while experts agree on the labels of clear-cut examples of cEEG patterns, labeling many real-world cEEG data can be extremely challenging. Thus, a large minority of sequences might be mislabeled. HAMLET has shown significant performance gain against deep learning and other baselines, increasing accuracy from 7.03% to 68.75% on challenging inputs. Besides improved performance, clinical experts confirmed the interpretability of those reference embeddings in helping explaining the classification results by HAMLET.

研究の動機と目的

• エキスパートによるラベル付けが高コストで一貫性に欠ける、連続的 EEG のような複雑で曖昧なデータに対して、高品質なラベルを取得する課題に対処すること。
• 標準的なディープラーニングが低データ・高ノイズ環境で限界に達することを克服し、人間エキスパートと機械モデルの協働による繰り返しラベル精錬を可能にすること。
• 分類意思決定を説明するリファレンス埋め込みを提供することで、モデルの解釈可能性を向上させ、エキスパートによる再評価を支援し、ラベルの一貫性を向上させること。
• 実臨床データにおけるモデル性能を著しく向上させる一方で、エキスパートレビューを要するサンプル数を削減するスケーラブルで効率的なラベル付けフレームワークの開発

提案手法

• 異なるクラスからの多様なリファレンス埋め込みを格納するメモリモジュールを備えたディープニューラルネットワークを用い、類似度に基づく分類を支援する。
• 入力シーケンスを共有埋め込み空間にマップするニューラル埋め込み関数を適用し、意味的類似度がクラス類似度を反映するようにする。
• モデルが低信頼度の予測を特定し、エキスパートによる再評価を提案する共同学習ループを実装する。フィードバック戦略としてエントロピー、マージンサンプリング、信頼度しきい値を用いる。
• 再評価中に、類似度スコアが最も高いリファレンス埋め込み（最も関連性の高いもの）を検索・表示することで、説明可能な説明を提供する。
• 改善されたラベルを用いてモデルを微調整し、モデルの精度とエキスパートのラベル付けの一貫性を段階的に向上させる。
• 最終予測に各リファレンス埋め込みがどの程度寄与しているかを測るため、密層におけるアテンション・ライクな重みを用い、各クラスごとの解釈可能性スコアを可能にする。

実験結果

リサーチクエスチョン

• RQ1 人間と機械の共同学習フレームワークは、ラベル付けが難しい医療データにおけるラベルコストを削減しながら、モデルの精度を向上させることができるか？
• RQ2 リファレンス埋め込みによるモデル生成の説明は、エキスパートのラベル付けの一貫性と再評価の効率をどのように向上させるか？
• RQ3 低信頼度予測の繰り返し精錬は、実臨床 EEG データにおける分類性能をどの程度向上させるか？
• RQ4 高信頼度、マージンサンプリング、エントロピーのうち、どの機械フィードバック戦略がエキスパートによる再評価を要するサンプルを最も効果的に特定するか？
• RQ5 モデルの解釈可能性は定量的に測定可能であり、特に曖昧または多様なクラスにおいて、分類性能とどのように関連するか？

主な発見

• HAMLET-CNN は、837 個のエキスパートが再修正したシーケンスをわずかに用いても、未学習の連続的 EEG データにおいて分類精度を 7.03% から 68.75% まで向上させ、顕著な性能向上を示した。
• アテンション重みを用いた解釈可能性の定量的評価では、LRDA に対して上位 16 個のリファレンス埋め込みのうち 75%、GRDA に対しては 68.75% が同じクラスに属しており、学習されたアテンションと正しい分類の間の強い整合性が示された。
• エントロピーに基づくフィードバック戦略が、提案された再評価において最も高いエキスパート合意度（93.75%）を達成し、高信頼度およびマージンサンプリング手法を上回った。
• 混同行列の結果、共同学習後、モデルは LRDA や LPD を驚厥と誤分類する頻度を低減し、全体の精度を向上させたが、驚厥の認識率はわずかに低下した。
• 解釈可能性スコアと性能の相関関係が確認された：解釈可能性が低いクラス（例：驚厥 37.50%）は、分類精度も最悪であり、モデルが類似度スコアに依存していることが信頼性のある予測に不可欠であることを示唆した。
• HAMLET-CNN モデルは、非教師ありの CAE ベースラインおよび標準的な MLP よりも優れた性能を示し、フレームワーク内での共同学習と説明可能性のコンponentsの価値を確認した。