[論文レビュー] Towards a Continuous Knowledge Learning Engine for Chatbots

Sahisnu Mazumder, Nianzu Ma+1 more|arXiv (Cornell University)|Feb 16, 2018

Topic Modeling参考文献 10被引用数 24

ひとこと要約

本稿では、チャットボットが会話中に継続的に新しい知識を学習できるようにする、Lifelong Interactive Learning and Inference（LiLi）フレームワークを提案する。LiLiは、オープンワールド知識ベース補完（OKBC）を用いて、ユーザーとの対話によって欠落している事実を取得し、強化学習を用いてクエリ固有の推論戦略を立案することで、人間の学習を模倣する。この結果、未知の関係においてF1スコアが最大5.6%向上し、p<0.05の有意水準でベースラインを上回る性能を示し、継続的学習とユーザー対話の統合が有効であることを実証した。

ABSTRACT

Although chatbots have been very popular in recent years, they still have some serious weaknesses which limit the scope of their applications. One major weakness is that they cannot learn new knowledge during the conversation process, i.e., their knowledge is fixed beforehand and cannot be expanded or updated during conversation. In this paper, we propose to build a general knowledge learning engine for chatbots to enable them to continuously and interactively learn new knowledge during conversations. As time goes by, they become more and more knowledgeable and better and better at learning and conversation. We model the task as an open-world knowledge base completion problem and propose a novel technique called lifelong interactive learning and inference (LiLi) to solve it. LiLi works by imitating how humans acquire knowledge and perform inference during an interactive conversation. Our experimental results show LiLi is highly promising.

研究の動機と目的

• 既存のチャットボットが会話中に新しい知識を学習できないという根本的な制限を解消し、長期的な適応性と知識の拡張性を高めること。
• 従来のKBCを拡張し、未知のエンティティや関係を許容するオープンワールド知識ベース補完（OKBC）として、会話における継続的知識学習の問題を定式化すること。
• 人間の学習を模倣する動的推論戦略の立案とユーザーとの対話による学習を統合した、生涯的で対話的な学習・推論（LiLi）システムを設計すること。
• 現実的なユーザー対話制約下において、予測性能と戦略立案の両面でのLiLiの有効性を評価すること。
• 継続的学習とユーザーのフィードバックが、時間経過とともに知識獲得と推論品質を著しく向上させることを実証すること。

提案手法

• クエリトリプルに未知のエンティティや関係を許容するオープンワールド知識ベース補完（OKBC）問題として、会話における知識学習を定式化する。
• クエリ固有のアクションシーケンスを生成する強化学習（RL）ベースの推論戦略立案モジュールを開発する。
• ユーザーからの質問作成やヒント取得といった対話的アクション、および事実選択や推論チェーンの導出といった処理アクションを実装する。
• ヒントが入手できない場合に、エンティティペア間の文脈的類似度を用いて妥当な事実を予測する推測メカニズムを統合する。
• 過去に性能が低かったタスクを優先して学習する過去タスク選択メカニズムを適用し、知識の転送を向上させるとともに、深刻な忘却を軽減する。
• 固定閾値（例：0.5）ではなく、関係固有の閾値（μr）を用いることで、未知の関係における予測精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 チャットボットは、リアルタイムで知識ベースを拡張することで、会話中に新しい知識を効果的に学習できるか？
• RQ2 生涯的で対話的な学習は、静的または非対話的アプローチと比較して、知識ベース補完性能をどのように向上させるか？
• RQ3 ユーザー対話は、オープンワールド環境下で未知の事実を推論する能力をどの程度向上させるか？
• RQ4 関係固有の閾値と文脈的類似度の活用は、未知の関係における予測精度をどのように改善するか？
• RQ5 既存の関係の性能を維持しながら新しい関係を学習する際、システムはどのように深刻な忘却を緩和するか？

主な発見

• LiLiは、FreebaseとWordNetの両方で全体のF1スコアにおいてベースラインのSepモデルをp<0.1で上回り、β=0.05の条件下でFreebaseではp<0.05で有意に優れている。これは、生涯的学習の有効性を示している。
• 単一モデルベースラインは、知識共有のおかげで未知の関係においてSepを上回るが、既存の関係において深刻な忘却を経験しており、継続的学習メカニズムの必要性を浮き彫りにしている。
• LiLiの関係固有の閾値μrは、固定閾値0.5よりも顕著に性能を向上させ、Freebaseではp<0.05の有意差を示しており、未知の関係に対するより良いキャリブレーションが可能であることを示している。
• 文脈的類似度を用いた推測メカニズムは、ブラインド推測（BG）よりもp<0.05で性能が向上しており、情報が少ない状況下でも意味的ヒントが推論を向上させることを示している。
• 過去タスク選択（PTS）メカニズムは、w/o PTSと比較して性能を向上させ、特にFreebaseではp<0.01の有意差を示しており、性能が低かったタスクに特化したヒント収集が有効であることがわかる。
• ヒント収集率（β）が高いほど性能が顕著に向上し、β=0.5ではβ=0.05に比べて未知の関係のF1スコアが5.6%高い。これは、ユーザーのフィードバックが強い影響を持つことを示している。