[論文レビュー] Knowledge Authoring and Question Answering via Controlled Natural Language

Gao, Tiantian|arXiv (Cornell University)|Oct 19, 2017

Natural Language Processing Techniques参考文献 12被引用数 41

ひとこと要約

SLINGは、双方向LSTM符号化と遷移ベースの再帰ユニット（TBRU）を用いた遷移ベースのパーサーシステムにより、自然言語テキストを直接意味的フレームグラフにマッピングするニューラルフレーム意味解析フレームワークである。エンドツーエンド学習が可能で、OntoNotesでスロットF1 79.95%の最先端の性能を達成しており、JITコンパイルされたMyelinランタイムにより高速な推論が可能で、CPU1秒あたり2500トークンの処理速度を実現している。

ABSTRACT

Knowledge acquisition from text is the process of automatically acquiring, organizing and structuring knowledge from text which can be used to perform question answering or complex reasoning. However, current state-of-the-art systems are limited by the fact that they are not able to construct the knowledge base with high quality as knowledge representation and reasoning (KRR) has a keen requirement for the accuracy of data. Controlled Natural Languages (CNLs) emerged as a technology to author knowledge using a restricted subset of English. However, they still fail to do so as sentences that express the same information may be represented by different forms. Current CNL systems have limited power to standardize sentences that express the same meaning into the same logical form. We solved this problem by building the Knowledge Authoring Logic Machine (KALM), which is a technology for domain experts who are not familiar with logic to author knowledge using CNL. The system performs semantic analysis of English sentences and achieves superior accuracy of standardizing sentences that express the same meaning to the same logical representation. Besides, we developed the query part of KALM to perform question answering, which also achieves very high accuracy in query understanding.

研究の動機と目的

• 中間の記号的表現を経由せず、生のテキストトークンから直接フレームグラフを出力するニューラル意味解析器の開発。
• 名前付きエンティティ認識、意味的役割ラベル付け、共参照解決などの統合的意味解析タスクにおけるエンドツーエンド性能の向上を図り、すべてのモジュールを統合的に学習すること。
• JITコンパイルされたニューラルネットワークランタイムを活用し、リアルタイムアプリケーションに適した効率的かつ低遅延の推論を実現すること。
• 入力トークンではなく、進化するフレーム構造に注目する注目メカニズムの検討により、パース中における文脈認識の向上を図ること。

提案手法

• 入力テキストトークンを文脈的なベクトル表現に変換するために、双方向LSTMを用いる。
• 段階的にフレームグラフを構築するパースアクションのシーケンスを生成するために、遷移ベースの再帰ユニット（TBRU）を採用する。
• 入力トークンではなく、以前に作成されたフレームに注目するフレームに特化した注目メカニズムを導入する。
• 名前付きスロットと値（フレーム参照を含む）を持つ有向グラフとして意味的フレームを表現し、複雑な意味的構造を可能にする。
• C++で実装されたフレームストアデータ構造を用いて、フレームグラフのコンパクトで効率的な格納・管理を実現する。
• ニューラルネットワークを最適化されたx64マシンコードにコンパイルするJITコンパイラー（Myelin）を活用し、高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、中間の記号的表現を経由せずに、生のテキストを直接意味的フレームグラフにパースできるか？
• RQ2 進化するフレーム構造に注目するフレームに特化した注目メカニズムは、入力トークンに注目するものと比較して、パース精度をどのように向上させるか？
• RQ3 統合的意味解析モデルのエンドツーエンド学習は、エンティティ、タイプ、役割、フレーム予測タスクの性能をどの程度向上させるか？
• RQ4 JITコンパイルされたニューラルネットワーク推論エンジンは、標準的なディープラーニングフレームワークと比較して、速度とメモリ効率の面で顕著に優れているか？

主な発見

• SLINGパーサーは、OntoNotesテストセットでスロットF1 79.95%を達成し、フレーム、役割、タイプ、ラベルの統合的予測において優れた性能を示している。
• スパンF1とフレームF1はそれぞれ約93.8%に達しており、意味的スパンおよびフレームの同定・リンクの高精度を示している。
• 役割F1は69.65%であり、フレーム間のリンク予測が依然として課題である可能性が示唆されており、相互フレーム関係のモデル化が不十分であると推測される。
• Myelinでコンパイルされたパーサーは、CPU1秒あたり2500トークンの処理速度を達成しており、TensorFlowベースのバージョン（1秒あたり200トークン）の10倍以上も高速である。
• モデルは未学習データに対しても良好に一般化しており、開発セットとテストセットの間で性能差が最小限に抑えられており、正則化が限定的であっても堅牢性が確認されている。
• LABEL F1スコアは過学習の兆候を示しており、開発セットで96.18のピークに達した後、最終チェックポイントで95.73に低下しているため、より良い正則化法やアーキテクチャの変更が求められる。