[論文レビュー] Detecting cognitive impairments by agreeing on interpretations of linguistic features

Zining Zhu, Jekaterina Novikova+1 more|arXiv (Cornell University)|Aug 20, 2018

Topic Modeling参考文献 40被引用数 5

ひとこと要約

本論文は、敵対的訓練を用いて音声的、構文的、意味的といった異なる言語的モダリティ間で共有表現に合意するようにニューラルネットワークを訓練することにより、認知機能障害の検出を向上させる、新しい深層学習フレームワーク「コンセンサスネットワーク（CNs）」を紹介する。413個の言語的特徴をすべて使用した場合、CNsはアルツハイマー病対コントロール分類において79.98%のマクロF1を達成し、従来の分類器や最先端のベースラインを顕著に上回った。

ABSTRACT

Linguistic features have shown promising applications for detecting various cognitive impairments. To improve detection accuracies, increasing the amount of data or the number of linguistic features have been two applicable approaches. However, acquiring additional clinical data can be expensive, and hand-crafting features is burdensome. In this paper, we take a third approach, proposing Consensus Networks (CNs), a framework to classify after reaching agreements between modalities. We divide linguistic features into non-overlapping subsets according to their modalities, and let neural networks learn low-dimensional representations that agree with each other. These representations are passed into a classifier network. All neural networks are optimized iteratively. In this paper, we also present two methods that improve the performance of CNs. We then present ablation studies to illustrate the effectiveness of modality division. To understand further what happens in CNs, we visualize the representations during training. Overall, using all of the 413 linguistic features, our models significantly outperform traditional classifiers, which are used by the state-of-the-art papers.

研究の動機と目的

• 認知機能障害を検出するための従来のアプローチが、高コストなデータ収集や人的に手間のかかる特徴工学に依存しているという限界を克服すること。
• 新しいデータや特徴を収集せずに、複数の言語的モダリティ間で共有情報を活用することで分類精度を向上させること。
• ニューラルネットワークが異なる言語的モダリティ間で一貫性のある低次元表現を学習できるフレームワークを開発すること。
• モダリティの分割、ノイズモダリティ、協調最適化の有効性がモデル性能に与える影響を評価すること。
• トレーニング中の学習済み表現の可視化を通じて、解釈可能性のインサイトを提供すること。

提案手法

• 413個の言語的特徴を音声的、構文的、意味的特性に基づいて重複のないモダリティに分割する。
• 各モダリティは専用のニューラルネットワーク（「ePhysician」）によって処理され、他のモダリティからの表現と合意する低次元表現を学習する。
• 敵対的訓練により識別器損失を最小化し、異なるモダリティからの表現が区別不能になるように促進することで、コンセンサスを促進する。
• ノイズモダリティは、表現空間における中心基準点を提供することで、訓練の安定性を高め、一般化性能を向上させる正則化成分として導入される。
• 協調最適化により、すべてのePhysicianと識別器のトレーニングが同期され、コンセンサスに向けて共同最適化が保証される。
• 最終的な分類器は、コンセンサス表現上で訓練され、すべてのコンponentsが反復的に最適化される。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を用いて、異なる言語的モダリティ間の表現を統合することで、認知機能障害の検出を向上させることができるか？
• RQ2 言語的特徴を重複のないモダリティに分割し、それらの間で合意を促進することで、従来の手法よりも優れた分類性能が得られるか？
• RQ3 ノイズモダリティと協調最適化は、コンセンサスネットワークフレームワークの安定性と精度にどのように寄与するか？
• RQ4 学習された表現が、認知状態に関連する複雑な非ガウス的パターンをどの程度捉えられるか？
• RQ5 同じ413個の言語的特徴を用いた場合、コンセンサスメカニズムはSVM、RF、MLPといった標準分類器を上回ることができるか？

主な発見

• コンセンサスネットワーク（CN）モデルは、アルツハイマー病対コントロール分類タスクで79.98%のマクロF1スコアを達成し、最高の従来型分類器（MLP）の75.61%マクロF1を顕著に上回った。
• アブレーションスタディの結果、モダリティの分割とコンセンサス学習が不可欠であることが確認され、合意メカニズムを備えないモデル（例：MLP）はCNよりも性能が劣った。
• 主成分分析（PCA）を用いた可視化により、異なるモダリティからの表現が対称的かつ重複のないクラスタを形成しており、補完的な情報を捉えつつも、明確な個性を保っていることが示された。
• 収束時に識別器損失は低く（約10^-3）維持されたことから、表現は同一ではなくとも、依然として高い一貫性を示しており、崩壊を伴わずに効果的なコンセンサスが達成されていることが確認された。
• トレーニング中に最初の数個の主成分が説明する分散が増加したため、コンセンサス表現が共有で判別に効くパターンに焦点を絞るよう単純化されてきたことが示された。
• バリデーションセットでの精度がトレーニング中に安定して上昇したため、コンセンサスメカニズムが認知機能障害検出に必要な特徴の学習を強化していることが確認された。