[論文レビュー] A Parallel Evaluation Data Set of Software Documentation with Document Structure Annotation

Bianka Buschbeck, Miriam Exel|arXiv (Cornell University)|Aug 11, 2020

Natural Language Processing Techniques参考文献 17被引用数 5

ひとこと要約

本論文は、SAPヘルプポータルから抽出した企業向けソフトウェアドキュメンテーションの並列評価データセットを紹介する。このデータセットは、英語からヒンディ語、インドネシア語、マレー語、タイ語への翻訳を対象とし、文書構造メタデータ（例：見出し、表、段落境界）を付与している。これにより、文脈に配慮した機械翻訳の評価とベンチマークが可能となり、ベースライン結果から多言語モデルと商業的オンラインMTシステムとの間には顕著な性能差が確認され、低リソース環境におけるドメイン特化チューニングとメタデータ活用の機会が浮き彫りになった。

ABSTRACT

This paper accompanies the software documentation data set for machine translation, a parallel evaluation data set of data originating from the SAP Help Portal, that we released to the machine translation community for research purposes. It offers the possibility to tune and evaluate machine translation systems in the domain of corporate software documentation and contributes to the availability of a wider range of evaluation scenarios. The data set comprises of the language pairs English to Hindi, Indonesian, Malay and Thai, and thus also increases the test coverage for the many low-resource language pairs. Unlike most evaluation data sets that consist of plain parallel text, the segments in this data set come with additional metadata that describes structural information of the document context. We provide insights into the origin and creation, the particularities and characteristics of the data set as well as machine translation results.

研究の動機と目的

• 企業向けソフトウェアドキュメンテーションにおける機械翻訳の高品質でドメイン特化された評価データの不足に対処すること。
• 文脈に配慮した翻訳システムの評価の信頼性を高めるために、文書構造メタデータ（例：テキストタイプ、境界）を含めること。
• ヒンディ語、インドネシア語、マレー語、タイ語といった低リソース言語ペアの研究を支援するため、並列の開発およびテストセットを提供すること。
• 実世界のITドキュメンテーションドメインにおいて、文脈に配慮したおよびテキストタイプ別に特化した翻訳モデルを評価するベンチマークを確立すること。
• ニュースドメインコーパスにとどまらない、より正確で代表的なMT評価を可能にし、専門分野における人間並みの性能に近づく支援を行うこと。

提案手法

• データセットはSAPヘルプポータルから抽出され、各言語ペア（EN-HI、EN-ID、EN-MS、EN-THおよび逆方向ペア）で約4,000の並列セグメントを含む。
• セグメントはその文書コンテキストを保ったまま処理され、文書および段落境界、およびテキストタイプ（例：見出し、表、セクション）を識別するメタデータが付与された。
• モデルチューニングと評価の一貫性を確保するため、開発セットとテストセットは、セグメント長、テキストタイプの分布、各タイプごとの単語数が同等になるように分割された。
• ベースライン機械翻訳結果は、WikinewsおよびITデータ（Opus）で訓練された多言語トランスフォーマーモデルを用いて生成され、商業的オンラインMTプロバイダーと比較された。
• 評価指標には、大文字・小文字を区別するBLEUとChrFが用いられ、WAT 2020ベースラインシステムの公式BLEUスコアが報告された。
• データセットはCC BY-NC 4.0のライセンスでリリースされ、GitHubにホスティングされており、MT研究における公開アクセスと再利用を可能としている。

実験結果

リサーチクエスチョン

• RQ1 多言語ニューラルMTモデルの性能は、低リソースのソフトウェアドキュメンテーションにおいて、商業的オンラインMTシステムと比べてどの程度か？
• RQ2 文書構造メタデータは、文脈に配慮したMTシステムにおける翻訳品質をどの程度向上させることができるか？
• RQ3 テストセットと同等の特性を持つ開発セットが、ソフトウェアドキュメンテーション翻訳のためのモデルチューニングに効果的に機能するか？
• RQ4 企業ITドメインにおける異なる低リソース言語ペアにおいて、翻訳結果はどのように変動するか？
• RQ5 ドメイン内データとメタデータの使用は、低リソース環境における翻訳品質向上にどのような影響を与えるか？

主な発見

• 商業的オンラインMTプロバイダーは、すべての言語ペアでWAT 2020多言語ベースラインシステムを顕著に上回り、EN-THではBLEUスコア68.80を達成したのに対し、ベースラインは31.29にとどまった。
• WATベースラインシステムはEN-HIでBLEUスコア13.67を記録しており、低リソース環境における大幅な改善余地が示された。
• 各言語ペアの開発セットとテストセットは、セグメント長の分布、テキストタイプの頻度、および単語数が同等であったため、信頼性のあるモデルチューニングが可能となった。
• データセットの文書構造メタデータは、特に見出しや表のような特定のテキストタイプに対して、文脈に配慮したMTシステムの訓練および評価の基盤を提供する。
• メタデータを活用するシステムのベンチマークが可能となり、企業向けソフトウェアドキュメンテーションにおける翻訳品質の向上に道筋が示された。
• 本データセットのリリースは、低リソースMT、ドメイン適応、メタデータ活用に関する研究を支援し、専門分野における人間並みの性能に近づく可能性を秘めている。