[論文レビュー] Measuring Conversational Productivity in Child Forensic Interviews

Victor Ardulov, Manoj Kumar+3 more|arXiv (Cornell University)|Jun 8, 2018

Language, Discourse, Communication Strategies参考文献 8被引用数 3

ひとこと要約

本論文は、トピックモデリングと語彙の一致（lexical entrainment）を用いて、児童の法的インタビューにおける会話的生産性を測定する計算フレームワークを提案する。動的インタビュー・アジェンダを構築し、応答の整合性と反応性をスコア化することで、情報の関連性を捉える上で従来の語数測定法を上回り、発達段階に起因する言語のばらつきに対してもより高い頑健性を示す。

ABSTRACT

Child Forensic Interviewing (FI) presents a challenge for effective information retrieval and decision making. The high stakes associated with the process demand that expert legal interviewers are able to effectively establish a channel of communication and elicit substantive knowledge from the child-client while minimizing potential for experiencing trauma. As a first step toward computationally modeling and producing quality spoken interviewing strategies and a generalized understanding of interview dynamics, we propose a novel methodology to computationally model effectiveness criteria, by applying summarization and topic modeling techniques to objectively measure and rank the responsiveness and conversational productivity of a child during FI. We score information retrieval by constructing an agenda to represent general topics of interest and measuring alignment with a given response and leveraging lexical entrainment for responsiveness. For comparison, we present our methods along with traditional metrics of evaluation and discuss the use of prior information for generating situational awareness.

研究の動機と目的

• 従来の主観的または単純な指標に代わる、客観的かつ計算可能な言語的生産性の指標を開発すること。
• 語数や人間によるコード化による「豊かさ」といった従来の指標の限界を克服し、トピックモデリングに基づくアプローチを導入することで、情報の関連性とインタビュー目標との整合性を評価すること。
• トピックモデリングを用いて動的にインタビュー・アジェンダをモデル化し、インタビュアーの情報的目標を表現するとともに、児童の応答がこれらの目標とどの程度整合しているかを評価すること。
• 反応性と結束（ラップアラウンド）の代理指標として語彙の一致（lexical entrainment）を組み込み、双方向対話における信頼関係や関与度を反映すること。
• 人的ラベルに依存しないスケーラブルな自動評価システムを構築し、一貫性と正確性を高め、インタビュー品質の評価を改善すること。

提案手法

• 過去のトランスクリプトを用いてトピックモデリング（例：LDA や trigram ベースのモデル）を実行し、インタビュアーが引き出したいと望む主要なトピックを表現する動的インタビュー・アジェンダを構築する。
• 応答と現在のアジェンダ・トピックとの間の語彙的オーバーラップを測定することで、各児童の発話の「アジェンダ整合性」をスコア化する。TF-IDF や類似の重み付け手法を用いる。
• 反応性を語彙の一致（lexical entrainment）によって測定する。これは、インタビュアーの語彙と児童の語彙との一致度をリアルタイムで定量的に評価し、信頼関係や関与度を反映する。
• アジェンダ整合性と反応性を、重みパラメータ β と γ を用いて組み合わせ、複合的な生産性スコアを生成する。
• セッション間でスコアを正規化し、価値反復（value-iteration）や意思決定理論的モデルを用いて、適応的インタビューサイエンス戦略を支援する。
• 527件の法的インタビューのトランスクリプトを用いてモデルを検証し、年齢、語数、人的ラベルによるベンチマークと比較する。

実験結果

リサーチクエスチョン

• RQ1 トピックモデリングと語彙の一致は、法的インタビューにおける児童の応答の生産性を客観的に測定するために有効に用いられるか？
• RQ2 提案された生産性指標は、従来の語数や人的ラベルによる豊かさ指標と比較して、情報の関連性をどの程度的確に捉えられるか？
• RQ3 児童の年齢に応じてモデルの性能にどのような差が生じるか。また、言語能力の発達的差異に対して、そのモデルは頑健か？
• RQ4 アジェンダベースのフレームワークは、情報収集を最適化するリアルタイムで適応可能なインタビューサイエンス戦略を生成するために利用可能か？
• RQ5 提案された指標は、信頼関係や効果的なインタビューの既知の指標とどの程度相関しているか？

主な発見

• アジェンダ整合性と反応性を組み合わせた提案された生産性指標は、児童の年齢と統計的に有意な相関を示したが、語数（r = 0.46）に比べて相関係数が弱く（r = 0.25）あり、発達的言語変動への感受性が低いことが示された。
• アジェンダベースのモデルは、低関連性の発話を効果的にフィルタリングし、語数に比べてスカスカではあるがより情報量の多い信号を生成した。語数は高い変動性と低信頼性を示した。
• 語彙の一致は反応性の強力な代理指標として浮き彫りになった。双方向対話における信頼の既知の指標と高い整合性を示し、信頼関係の測定に有効であることが裏付けられた。
• モデルが使用した trigram ベースのトピックモデルは優れた性能を示し、高リスクの法的文脈において、単純な自然言語処理技術でも意味のあるインサイトをもたらす可能性を示した。
• 複合生産性スコア（π*）は、語数に比べて年齢層をまたがってより一貫性があり、分散が小さく、より高い頑健性と信頼性を示した。
• このフレームワークはリアルタイムでの適応的スコアリングが可能であり、『ゴールドスタンダード』のアジェンダを事前に定義するのにも利用可能で、根拠に基づくインタビュー政策の開発を支援する。