[論文レビュー] Interactive Spoken Content Retrieval by Deep Reinforcement Learning

Yen-Chen Wu, Tzu-Hsiang Lin+3 more|arXiv (Cornell University)|Sep 16, 2016

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本稿では、手作業で設計された状態推定を回避するため、原始的な検索スコアを最適なシステム行動に直接マッピングするエンドツーエンドの深層強化学習手法を提案する。この手法は、人為的に設計された指標を用いない原始的な関連スコアのみを用いても、従来の最先端手法を上回る性能を達成しており、特に手作業で設計された特徴に依存する手法よりも顕著な性能向上を示している。

ABSTRACT

User-machine interaction is important for spoken content retrieval. For text content retrieval, the user can easily scan through and select on a list of retrieved item. This is impossible for spoken content retrieval, because the retrieved items are difficult to show on screen. Besides, due to the high degree of uncertainty for speech recognition, the retrieval results can be very noisy. One way to counter such difficulties is through user-machine interaction. The machine can take different actions to interact with the user to obtain better retrieval results before showing to the user. The suitable actions depend on the retrieval status, for example requesting for extra information from the user, returning a list of topics for user to select, etc. In our previous work, some hand-crafted states estimated from the present retrieval results are used to determine the proper actions. In this paper, we propose to use Deep-Q-Learning techniques instead to determine the machine actions for interactive spoken content retrieval. Deep-Q-Learning bypasses the need for estimation of the hand-crafted states, and directly determine the best action base on the present retrieval status even without any human knowledge. It is shown to achieve significantly better performance compared with the previous hand-crafted states.

研究の動機と目的

• 音声認識のノイズや不確実性に起因する課題に対処すること。これは、従来のテキストベースの検索インターフェースが効果を発揮しない状況を想定している。
• 従来のインタラクティブ検索システムが、検索特徴から手作業で設計された状態を推定に依存している点の制限を克服すること。これらの状態推定は最適でない可能性があり、最適化が統合的に行われていない。
• 深層強化学習が、人為的に設計された状態表現を必要とせず、原始的な検索スコアから直接最適な対話ポリシーをエンドツーエンドで学習できるかどうかを調査すること。
• 原始的な特徴と人為的に設計された指標の両方を用いた場合に、DQNベースの行動選択の性能を、従来の手法と比較して評価すること。

提案手法

• システムは、言語モデルに基づく検索モジュールから得られる原始的な検索スコアを直接、システム行動にマッピングするため、深層Qネットワーク（DQN）を用いる。このアプローチにより、明示的な状態推定を回避できる。
• DQNは、特定のクエリに対する上位-k件のドキュメントの関連スコアを入力とし、原始的な特徴からエンドツーエンドで行動ポリシーを学習可能である。
• 行動空間には、追加のユーザー入力を要請する、トピックリストを返す、クエリを精緻化するなどの選択肢が含まれており、現在の検索状況に応じて選択される。
• DQNは、累積報酬を最大化する強化学習の目的関数に基づいて学習される。報酬は、対話シーケンスからのリターンとして定義され、検索効果性（例：MAPや各ターンでのリターン）に基づくスパarsな報酬が使用される。
• 認識品質の変動に耐性があるかを評価するため、1つの最良出力（one-best）とラティス出力（lattice-based）ASR出力を用いてフレームワークを評価した。
• 手作業で設計された状態（例：平均精度）を用いたベースラインと、ランダム行動ベースラインと比較し、ブルートフォースな行動シーケンス探索によるオラクル上限値も計算した。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、人為的に設計された状態表現に依存せず、原始的な検索スコアから、音声コンテンツ検索のための効果的な対話ポリシーを学習できるか？
• RQ2 手作業で設計された特徴と段階的な状態推定に依存する従来手法と比較して、エンドツーエンドのDQNベースのアプローチの性能はどの程度か？
• RQ3 人為的に設計された特徴を一切使用しない原始的な関連スコアのみで、効果的な行動選択を実現できるか、その限界はどこか？
• RQ4 モデルの深さと入力特徴の構成（原始スコア vs. 原始スコア＋人為的特徴）が、DQNフレームワークにおける学習の安定性と最終的性能に与える影響はどの程度か？

主な発見

• 人為的に設計された特徴を一切使用せず、原始的な関連スコアのみを用いた本手法のDQNアプローチは、手作業で設計された状態に依存する従来の最先端手法を上回り、one-best変換ではMAPが0.5619、ラティス出力では0.5847を達成した。
• 原始的な関連スコアと人為的に設計された特徴を組み合わせた場合、DQNは最も高い性能を発揮し、one-best出力ではMAPが0.5691、ラティス出力では0.5907を記録した。特にラティス出力では、オラクル上限値（105.03）を上回るリターン（110.90）を達成した。
• 原始スコアのみを用いたDQNは安定したポリシーに収束した。これは、複雑な状態-行動マッピングが、明示的な特徴工学を経ずに深層ネットワークが暗黙的に学習可能であることを示している。
• 4層の隠れ層を持つDQNアーキテクチャは、2層のものや線形モデルよりも優れた性能を示した。特に原始スコアのみを用いた場合に顕著で、収束は遅くなったが。
• 原始スコアのみを入力として用いた線形モデルは収束しなかった。これは、原始スコアから最適な行動へのマッピングが非線形であり、隠れ表現を必要としていることを示している。
• 1つの関連スコアのみを入力として用いた場合、DQNは基本的なポリシーを学習できたが、入力スコア数を増やす（例：10、50、100）ことで性能が顕著に向上した。これは、入力サイズの拡大に伴うスケーラビリティを示している。