[論文レビュー] Visual Interaction with Deep Learning Models through Collaborative Semantic Inference

Sebastian Gehrmann, Hendrik Strobelt+3 more|arXiv (Cornell University)|Jul 24, 2019

Data Visualization and Analytics被引用数 4

ひとこと要約

本論文は、モデル拡張潜在変数（フック）を通じてモデルの内部推論を露出させることで、深層学習モデルとの視覚的相互作用を可能にするフレームワーク、共同的意味的推論（CSI）を提案する。文書要約システムでの実証例を通じて、直感的な視覚的比喩を用いてユーザーのフィードバックをモデルの推論プロセスに統合することで、ユーザーはモデルの意思決定を制御し、理解し、共同で設計でき、透明性と人間とAIの協働性が著しく向上する。

ABSTRACT

Automation of tasks can have critical consequences when humans lose agency over decision processes. Deep learning models are particularly susceptible since current black-box approaches lack explainable reasoning. We argue that both the visual interface and model structure of deep learning systems need to take into account interaction design. We propose a framework of collaborative semantic inference (CSI) for the co-design of interactions and models to enable visual collaboration between humans and algorithms. The approach exposes the intermediate reasoning process of models which allows semantic interactions with the visual metaphors of a problem, which means that a user can both understand and control parts of the model reasoning process. We demonstrate the feasibility of CSI with a co-designed case study of a document summarization system.

研究の動機と目的

• ブラックボックスな深層学習モデルにおける人間の能動性の欠如に応えるために、モデル推論に対する視覚的でインタラクティブな制御を可能にすること。
• 人間の認知的モデルと整合する形で中間推論ステップを露出させるように、視覚化とモデルアーキテクチャを共同で設計すること。
• ユーザーが要約の内容選択や除外といった直感的な視覚的インタラクションを通じて、モデル意思決定に影響を与えることができるフレームワークを構築すること。
• 人間による要約後の編集が一般的な実世界のNLPタスク（文書要約）において、CSIの実現可能性を示すこと。
• 視覚化、インタラクションデザイン、機械学習を統合する、インタラクティブで説明可能なAIシステムの体系的共同設計プロセスを確立すること。

提案手法

• 要約におけるコンテンツの重要性といった中間推論意思決定を表すために、離散的潜在変数（フック）をモデル内の『制御ポイント』として導入する。
• タグ確率 $ p(t|x) $ を予測するフックネットワークを採用し、入力語のうちどの語が要約にコピーされるかを決定する。これにより、事前分布を介したユーザーの干渉が可能になる。
• 各入力語が要約に使用された可能性を推定するための別個の逆方向推論モデルを用い、$ p(t_i|x,y) $ を計算する。これにより、後向き分析が可能になる。
• 文脈に依存する単語表現と注目メカニズムを用い、要約語との整合性に基づいて各入力語の文脈ベクトル $ c_i $ を計算する。
• 微分可能ヘッドを用いて語の使用確率をモデル化する：$ p(t_i|x,y) = \sigma(W_2 \tanh(W_1[x_i, c_i] + b_1) + b_2) $。このモデルは前向きモデルとは別に訓練される。
• ユーザーが文を視覚的に除外できるようにするインタフェースを設計し、その際、対応する文のすべての語について $ p(t) = 0 $ に設定することで、モデルがそれらの内容をコピーしないように制御する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、人間の認知プロセスと整合する形で、中間推論ステップをどのように露出できるか？
• RQ2 ユーザーが推論中にモデル意思決定に意味的に影響を与え、理解できるようにするための視覚的インタラクションパラダイムは何か？
• RQ3 ユーザーのフィードバックは、どのようにモデル内部に意味的にマッピングされ、共同意思決定を可能にするか？
• RQ4 要約用に共同設計されたインタフェースは、モデル推論を露出させることで、透明性を向上させ、後処理の手間を削減できるか？
• RQ5 前向きおよび逆方向推論をサポートするインタラクティブなモデル解釈を可能にするシステムを構築するにあたり、技術的および設計上の課題は何か？

主な発見

• CSIフレームワークは、ユーザーが入力文を視覚的に除外することで、文書要約におけるモデル行動を視覚的に制御できることを実証した。これにより、対象となるセグメントからの内容コピーが防止される。
• 逆方向推論モデルは、学習済みの注目ベースのメカニズムを用いて、$ p(t_i|x,y) $ を計算することで、ユーザーが作成した要約に対しても、どの入力語が使用されたかを正確に同定できる。
• 要約モデルに潜在的フックを統合することで、仮説的分析（what-if分析）や意味的インタラクション（例：異なるユーザーの事前分布を設定した場合の出力変化のテスト）が可能になる。
• フックを通じた中間推論の露出は、モデルの解釈可能性を向上させ、NLPタスクにおける協働的で人間とAIの共同作業を支援することが実証された。
• 共同設計プロセスから、効果的なCSIは、視覚化、インタラクションデザイン、モデルアーキテクチャの密接な統合に依存しており、特にユーザー行動とモデル内部の整合性を保つことが重要であることが明らかになった。