[論文レビュー] Human-Computer Conversation

Yorick Wilks, Roberta Catizone|ArXiv.org|Jun 25, 1999

Speech and dialogue systems参考文献 19被引用数 15

ひとこと要約

この論文は、人間-コンピュータ対話（HMC）研究の現状を検討し、理論的モデルと実証的・性能指向のアプローチを対比する。1997年にローバナー賞を受賞したCONVERSEというシステムを提示する。このシステムは、パターンマッチングのヒューリスティクスと、rudimentaryな会話構造を組み合わせることで、頑健で、人格に似た対話を実現している。理論的深い理解がなくても、実用的性能—特にPARRY（1973年）のような歴史的に重要なシステムと同等の水準に達することが示された。

ABSTRACT

The article surveys a little of the history of the technology, sets out the main current theoretical approaches in brief, and discusses the on-going opposition between theoretical and empirical approaches. It illustrates the situation with some discussion of CONVERSE, a system that won the Loebner prize in 1997 and which displays features of both approaches.

研究の動機と目的

• 人間-コンピュータ対話研究における理論指向と性能指向のアプローチの間の歴史的・理論的分断を分析すること。
• AI や言語学における理論的進展が、何十年にもわたってもたらされたにもかかわらず、なぜ実用的で頑健な会話システムにまで至らなかったのかを調査すること。
• 実証的・性能指向のシステム（例：CONVERSE）が、ローバナー賞コンペティションで検証されたように、人間の会話と区別がつかない水準に達できることを示すこと。
• 実証的手法、特に統計的解析と会話行動のアノテーションを、会話の実用的モデリングへの統合を提唱すること。
• 教師あり学習を支援するためのアノテート済み会話コーパスの不足が、頑健な会話型AIの発展を妨げる主要な障壁であると特定すること。

提案手法

• ローバナー賞をHMC性能のベンチマークとして実証的に評価し、CONVERSE や PARRY といったシステムの比較に用いる。
• 約6000のルールを備えたパターンマッチングシステムとしてCONVERSEを設計し、例えばマフィアに対する怒りのような人格を模倣することで、長時間にわたる一貫性のある会話を維持する。
• 一般向けの統計的解析器を会話に適応させるために、マイクロクエリシェルを用い、文章を会話行動に変換可能にする。
• 大規模コーパス（例：British National Corpus: BNC）を用いて、頑健な会話構造モデルを学習することで、実証的計算言語学を実用的文脈に拡張することを提言する。
• テキスト文法や遷移ネットワークモデルを模倣し、ドメインに依存しない統計的訓練による会話モデルの開発を提唱する。
• 教師あり学習を支援するためのアノテート済み会話コーパスの作成を促進する重要な取り組みとして、DAMSL（Dialogue Act Markup in Several Languages）を特定する。

実験結果

リサーチクエスチョン

• RQ1 AI や言語学における理論的進展が、何十年にもわたってもたらされたにもかかわらず、なぜ実用的で頑健な会話システムにまで至らなかったのか。
• RQ2 理論的意味的・構文的理解がなくても、性能指向のパターンマッチングシステム（例：CONVERSE）が、人間の会話に類似した区別がつかない水準に達できる程度はどの程度か。
• RQ3 統計的解析を用いた大規模会話コーパスの解析といった実証的手法は、会話行動のアノテーションが不足している状況でも、会話の実用的構造を効果的にモデル化できるか。
• RQ4 ローバナー賞は、実用的で頑健な性能への研究の再焦点化に果たす役割は何か。また、純粋な理論的または単なるチャットボットのアプローチと比べて、どのように異なるか。
• RQ5 実証的計算言語学を実用的文脈に統合することで、一般向けでドメインに依存しない会話システムの開発をどのように前進させられるか。

主な発見

• 1997年のローバナー賞は、理論的進展が著しく進んだにもかかわらず、PARRY（1973年）と同等の会話品質を達成できた、性能指向のシステム（例：CONVERSE）の可能性を示した。
• CONVERSEは、人間の審査官と20分間の会話を維持し、パターンマッチングと保存済みの感情反応を用いて、一貫性、人格、トピックの継続性を保った。
• WinogradのブロックワールドやSchankのスクリプトといった理論的モデルと、現実世界の性能との間には、依然として大きなギャップが存在する。これらのシステムは、制約のないオープンエンドの会話では失敗した。
• BNCのような大規模コーパスは存在するが、会話行動をアノテートした会話コーパスの不足が深刻であり、頑健な会話モデルの教師あり学習を妨げている。
• 実証的手法、特に会話に適応した統計的解析と会話構造における機械学習は、依然として他のNLP分野と比べて未発達ではあるが、最も現実的な前進の道筋である。
• 現在のHMC研究の状態は、1980年代の機械翻訳に類似している：実用的なシステムは存在するが、学術的研究とは断絶しており、研究手法や評価基準についての合意形成がほとんどない。