[論文レビュー] Intelligent Voice Prosthesis: Converting Icons into Natural Language Sentences

Pascal Vaillant, Michael Checler|ArXiv.org|Jun 21, 1995

Natural Language Processing Techniques参考文献 1被引用数 5

ひとこと要約

本論文では、てんかん性失語症を有する重度の言語障害を持つ人々を対象に、不規則なアイコンの系列をフランス語の自然な文に変換する知能型音声補助装置を提示する。このシステムは、統合に基づく下位互換の意味解析を用いて記号系列からの意味を推定し、語彙化された意味ネットワークにマッピングし、木適合文法（TAG）に基づく階層的構造を介して文法的に正しい文を生成する。これにより、非言語的ユーザーが自然でなめらかな会話を可能にする。

ABSTRACT

The Intelligent Voice Prosthesis is a communication tool which reconstructs the meaning of an ill-structured sequence of icons or symbols, and expresses this meaning into sentences of a Natural Language (French). It has been developed for the use of people who cannot express themselves orally in natural language, and further, who are not able to comply to grammatical rules such as those of natural language. We describe how available corpora of iconic communication by children with Cerebral Palsy has led us to implement a simple and relevant semantic description of the symbol lexicon. We then show how a unification-based, bottom-up semantic analysis allows the system to uncover the meaning of the user's utterances by computing proper dependencies between the symbols. The result of the analysis is then passed to a lexicalization module which chooses the right words of natural language to use, and builds a linguistic semantic network. This semantic network is then generated into French sentences via hierarchization into trees, using a lexicalized Tree Adjoining Grammar. Finally we describe the modular, customizable interface which has been developed for this system.

研究の動機と目的

• 自然言語を発話できない、文法的ルールに従えない重度の言語障害を有する人々のためのコミュニケーション支援を開発すること。
• 非構造的なアイコン系列を意味的で文法的に正しい自然言語の文に変換する課題に対処すること。
• リアルタイムでの通信を可能にする、カスタマイズ可能でモジュラーなインターフェースを構築すること。
• 子供が生成したアイコンコミュニケーションのコーパスを活用して、意味的に根拠のある記号語彙を構築すること。

提案手法

• てんかん性失語症を有する子供たちのアイコンコミュニケーションコーパスを活用し、記号語彙の簡単で効果的な意味的記述を定義する。
• 統合に基づく下位互換の意味解析を用いて、記号間の依存関係を計算し、アイコン系列の背後にある意味を推定する。
• 語彙化モジュールを介して、推定された意味を語彙化された意味ネットワークに移行させ、適切な自然言語語彙を選択する。
• 語彙化された木適合文法（TAG）を用いて、意味ネットワークを句構造木構造へ階層化し、文の生成を実現する。
• 階層的木構造を自然言語出力に変換することで、なめらかで文法的に正しいフランス語の文を生成する。
• 臨床的および現実世界の状況での適応性と使いやすさを考慮した、モジュラーでカスタマイズ可能なインターフェースを特徴とする。

実験結果

リサーチクエスチョン

• RQ1 非構造的なアイコン系列をどのように意味的に解釈することで、非言語的ユーザーの意図した意味を回復できるか？
• RQ2 どのような意味的・構文的メカニズムが、記号入力から自然言語出力への信頼性の高いマッピングを可能にするか？
• RQ3 重度の言語障害を有する人々に対して、非言語的でアイコンベースの入力からなめらかで文法的に正しい文を生成するにはどうすればよいか？
• RQ4 子供が生成したアイコンコミュニケーションのコーパスが、実用的な記号語彙のモデル化において果たす役割は何か？
• RQ5 モジュラーでカスタマイズ可能なインターフェースは、補助的通信技術における多様なユーザーのニーズをどのように満たすか？

主な発見

• 意味解析と構文生成を用いて、非構造的なアイコン系列を一貫性があり自然なフランス語の文に効果的に変換できた。
• 統合に基づく意味解析により、記号間の依存関係が効果的に特定され、曖昧または標準外のアイコン系列からも意味の再構築が可能となった。
• 語彙化された木適合文法（TAG）アプローチにより、意味ネットワークから文法的に正しい、なめらかなフランス語の文が生成可能となった。
• てんかん性失語症を有する子供たちの現実世界のアイコンコーパスの活用により、意味的に関連性があり実用的な記号語彙の設計が可能となった。
• モジュラーなインターフェース設計により、個々のユーザーのニーズに合わせたカスタマイズと適応が可能となり、臨床的および日常生活の場面での使いやすさが向上した。