[論文レビュー] Winograd Schemas and Machine Translation

Ernest Davis|arXiv (Cornell University)|Aug 5, 2016

AI in Service Interactions参考文献 3被引用数 4

ひとこと要約

この論文は、共通認識の推論を要する代名詞の参照を解消するために、1語の違いで異なる文のペアであるWinogradスカラスを、機械翻訳システムの厳密なチャレンジとして使用することを提案している。フランス語、スペイン語、ドイツ語などの目的言語における性別を示す代名詞の違いを活用することで、翻訳システムが深い世界知識を用いて曖昧な代名詞を解消できるかをテストする。その結果、このようなスカラスの正確な翻訳には、現在のシステムがしばしば失敗する、元のWinogradスカラス問題を解く必要があることが示された。

ABSTRACT

A Winograd schema is a pair of sentences that differ in a single word and that contain an ambiguous pronoun whose referent is different in the two sentences and requires the use of commonsense knowledge or world knowledge to disambiguate. This paper discusses how Winograd schemas and other sentence pairs could be used as challenges for machine translation using distinctions between pronouns, such as gender, that appear in the target language but not in the source.

研究の動機と目的

• 機械翻訳システムが、性別を示さない代名詞（例：they）を使用する元言語において、目的言語の性別を示す代名詞を正しく処理できるかどうかを評価すること。
• 表面的なパターンマッチングではなく、共通認識の推論を要する代名詞の曖昧さに起因する翻訳の課題のクラスを特定すること。
• 性別を示す言語における正確な翻訳には、Winogradスカラスを解くことが必須条件であることを示すこと。
• 共通認識の知識を要するWinograd風の文のペアを構築することで、既存の翻訳システムの限界を露呈すること。

提案手法

• 英語で作成されたWinogradスカラスにおいて、曖昧な代名詞「they」が男性の集団または女性の集団を指すようにし、ロマンス語やセミティック言語では性別を示す翻訳が必要となるようにする。
• 目的言語における代名詞の性別（例：フランス語の「ils」対「elles」）を、システムが代名詞を正しく解消しているかを診断する指標として使用する。
• 既存のWinogradスカラスを、正しい先行詞が2つの文で性別が異なるように変換することで、翻訳の課題に変換する。
• 先行詞の性別が明示的に述べられていないが、文脈的および共通認識の知識から推論しなければならないようなテストケースを作成する。
• Winogradスカラスチャレンジのフレームワークを用いて、翻訳システムが推論によって正しく代名詞を解消できるかどうかを評価する。
• 代名詞を省略するか、一般的に男性形を採用する場合に文法的に不適切または意味的に誤った出力が生じる文のペアを翻訳システムにテストする。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳システムは、元言語で性別を示さない代名詞（例：they）を使用する場合、目的言語の性別を示す代名詞を正しく処理できるか？
• RQ2 Winogradスカラスを解ける能力と、フランス語、スペイン語、ドイツ語などの言語における性別を示す代名詞の正確な翻訳の能力との相関度はどの程度か？
• RQ3 Winogradスカラスを、機械翻訳システムの理解の深さを診断するテストに体系的に再利用できるか？
• RQ4 現在の翻訳システムは、性別や指代対象の同一性について推論を要するWinograd風の文のペアに対して、どの程度の性能を示すか？
• RQ5 共通認識による推論を要する代名詞の性別に関する曖昧さに直面したとき、翻訳システムの失敗モードはどのようなものか？

主な発見

• 144個のWinogradスカラスのうち、33個はロマンス語における性別を示す代名詞を含む挑戦的な翻訳課題に直接変換可能であり、正しく翻訳するにはスカラスを解く必要がある。
• Google Translateのような現在の翻訳システムは、『Marie is my friend』をフランス語で『Marie est mon ami』と誤って男性形で翻訳するなど、重要なケースで失敗する。
• 性別の手がかりが代名詞にすぐ隣接していない場合に、システムはしばしば失敗し、長距離依存関係に対する頑健な推論能力に欠けていることが示された。
• 『my friend Pierre』や『she is my friend』のような簡単なフレーズを正しく翻訳できる場合でも、間接的な参照や物語的推論を含むより複雑な文では失敗する。
• 目的言語で混合または性別不明の集団に対して男性形の代名詞が使われる傾向があるため、正確な代名詞の解消が正しく行われない限り、システムは一貫した課題に直面する。
• 本論文は、翻訳で代名詞を省略することは一般的な代替手段であるが、複雑なWinogradスカラスペアではしばしば不十分であり、妥当な翻訳を生み出せないことを示している。