[論文レビュー] Acquiring Annotated Data with Cross-lingual Explicitation for Implicit Discourse Relation Classification

Wei Shi, Frances Yung+1 more|arXiv (Cornell University)|Aug 30, 2018

Natural Language Processing Techniques参考文献 28被引用数 4

ひとこと要約

本稿では、多言語翻訳における人間の翻訳者による接続詞の挿入を活用して、暗黙的 discourse 関係分類のための高品質なアノテート済みデータを獲得する、クロスリンガル明示化手法を提案する。フランス語、ドイツ語、チェコ語からのバックトランスレーションと、複数言語間の過半数投票を用いることで、ベースラインと比較して分類性能が顕著に向上し、二言語間の一致が最も優れた結果をもたらした。

ABSTRACT

Implicit discourse relation classification is one of the most challenging and important tasks in discourse parsing, due to the lack of connective as strong linguistic cues. A principle bottleneck to further improvement is the shortage of training data (ca.~16k instances in the PDTB). Shi et al. (2017) proposed to acquire additional data by exploiting connectives in translation: human translators mark discourse relations which are implicit in the source language explicitly in the translation. Using back-translations of such explicitated connectives improves discourse relation parsing performance. This paper addresses the open question of whether the choice of the translation language matters, and whether multiple translations into different languages can be effectively used to improve the quality of the additional data.

研究の動機と目的

• 暗黙的 discourse 関係分類のためのアノテート済み学習データの不足という、discourse パーサー分野における主要な障壁に対処する。
• 翻訳言語の選択が、得られた学習データの品質および信頼性に与える影響を調査する。
• 複数の翻訳言語からの明示化を統合することで、データ品質および下流の分類性能が向上するかを検討する。
• 文書レベルのアライメントがとられた平行コーパスからのバックトランスレーションを用いて、暗黙的 discourse 関係を特定・ラベル付ける手法を開発する。
• 複数の翻訳言語にわたる過半数投票の有効性を評価し、ノイズが多いまたは一貫性のない明示化をフィルタリングする。

提案手法

• ドキュメントレベルでアラインメントがとられた平行コーパス（EuroParl）を用い、元の英語文が暗黙的であったにもかかわらず、翻訳言語で discourse 接続詞が挿入された文のペアを特定する。
• フランス語、ドイツ語、チェコ語からの翻訳文を英語にバックトランスレーションし、明示的な discourse マーカーを回復する。
• バックトランスレーションされたテキストに discourse 関係パーサー（DRP）を適用し、discourse 関係を同定およびラベル付ける。
• 複数の翻訳言語にわたる過半数投票を用い、少なくとも2つのバックトランスレーションが同じ関係タイプに一致するインスタンスのみを選択する。
• 複数言語間で一貫した明示化を持つ文のペアのみをフィルタリングし、ラベルの信頼性を向上させる。
• 得られた高品質で自動的にラベル付けされた暗黙的 discourse 関係インスタンスを、PDTBベンチマークの学習データに統合する。

実験結果

リサーチクエスチョン

• RQ1 翻訳言語の選択が、得られた暗黙的 discourse 関係インスタンスの品質および分布に影響を与えるか？
• RQ2 複数の翻訳言語からの明示化を統合することで、単一言語を使用する場合よりも高品質な学習データが得られるか？
• RQ3 複数のバックトランスレーションにわたる過半数投票は、ノイズを低減し、ラベルの信頼性を向上させるか？
• RQ4 多言語明示化の使用が、暗黙的 discourse 関係分類モデルの性能に与える影響は何か？
• RQ5 同じ引数ペア間に複数の discourse 関係が同時に存在するケースを同定できるか？

主な発見

• 少なくとも2つのバックトランスレーションが同じ discourse 関係タイプに一致したインスタンスは、追加データなしまたは単一言語からのデータを使用するベースラインと比較して、顕著に高い分類性能を示した。
• 本手法は、PDTBベンチマークで顕著な性能向上を達成し、多言語明示化によるデータ取得の有効性を実証した。
• ドイツ語の翻訳では、接続語関係の明示化頻度が高く、言語固有の discourse 表現傾向を反映していた。
• 本アプローチは、同じ引数ペア間に複数の共存する discourse 関係が存在するケースを効果的に同定でき、複雑な discourse 構造への感受性を示した。
• 定性的分析により、複数言語間で一貫した翻訳行動が、信頼性の高い discourse シグナルの学習および代替語彙化の認識を強化することが確認された。
• 過半数投票の使用により、ノイズが多いまたは一貫性のないラベルが顕著に低減され、得られた学習データの信頼性が向上した。