[論文レビュー] Corpus-Guided Contrast Sets for Morphosyntactic Feature Detection in Low-Resource English Varieties

Tessa Masis, Anissa Neal+2 more|arXiv (Cornell University)|Sep 15, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、低リソースな英語の方言における言語的特徴の自動検出を改善するため、人間が関与するコロケーション誘導型の方法を提示している。コーパス駆動の編集と専門家によるフィルタリングを活用することで、インド英語およびアフリカ系アメリカ英語において、従来手法に比べ最大16ポイントのPrec@100スコア向上を達成した。これは、正確性と社会言語学的妥当性の両方を向上させたものであり、研究再利用を可能にするモデルとデータの公開を伴っている。

ABSTRACT

The study of language variation examines how language varies between and within different groups of speakers, shedding light on how we use language to construct identities and how social contexts affect language use. A common method is to identify instances of a certain linguistic feature - say, the zero copula construction - in a corpus, and analyze the feature's distribution across speakers, topics, and other variables, to either gain a qualitative understanding of the feature's function or systematically measure variation. In this paper, we explore the challenging task of automatic morphosyntactic feature detection in low-resource English varieties. We present a human-in-the-loop approach to generate and filter effective contrast sets via corpus-guided edits. We show that our approach improves feature detection for both Indian English and African American English, demonstrate how it can assist linguistic research, and release our fine-tuned models for use by other researchers.

研究の動機と目的

• 低リソースな英語の方言、たとえばインド英語やアフリカ系アメリカ英語における形態句法的特徴の自動検出の課題に対処すること。
• 言語的に意味的で、かつ形態句法的に類似した対照セットを生成することで、特徴検出のための訓練データの質と多様性を向上させること。
• 年齢、性別、地域的差異に関する社会言語学的知見と整合性を保ちつつ、定量的性能指標を通じて本手法の有効性を検証すること。
• インド英語の10の特徴およびアフリカ系アメリカ英語の17の特徴について、微調整済みモデルとキュレート済みの訓練データを公開し、今後の研究を支援すること。

提案手法

• 本手法は、シードセットから得た肯定例をコーパス誘導型編集システムで変更し、意味的および文法的に類似した否定例を生成する対照セットを生成する。
• 人間のアノテーターが生成された対照セットをフィルタリング・精錬し、言語的妥当性および形態句法的対照性を保証する。
• 事前学習済み言語モデルをフィルタリング済みの対照セットで微調整し、文単位の形態句法的特徴分類を実行する。
• 自動生成（AutoG、AutoID）と手動フィルタリング（MnlG）を組み合わせ、両者を統合したハイブリッド手法（CGEdit）を採用することで、耐性を向上させる。
• 複数のデータセットおよび特徴タイプにおいて、Prec@100、ROC-AUC、APの指標を用いて性能を評価する。
• 外部での妥当性評価として、モデルの予測結果を年齢、性別、地域的差異に関する既知の社会言語学的パターンと照合する。

実験結果

リサーチクエスチョン

• RQ1 コーパス誘導型で人間が関与する方法は、低リソースな英語の方言における形態句法的特徴検出を向上させる高品質な対照セットを生成できるか？
• RQ2 提案されたCGEdit手法は、インド英語およびアフリカ系アメリカ英語における特徴検出において、自動および手動ベースライン手法と比較してどの程度優れているか？
• RQ3 モデルの予測結果は、年齢、性別、地域的差異における特徴使用に関する既存の社会言語学的知見とどの程度整合しているか？
• RQ4 本手法は、歴史的および現代のデータを含む、異なるコーパスおよび時間帯に一般化可能か？

主な発見

• CGEdit手法は、インド英語およびアフリカ系アメリカ英語のデータセットにおいて、従来手法に比べ最大16ポイントのPrec@100スコア向上を達成し、特徴検出の正確性に顕著な向上を示した。
• fwpコーパスにおいて、CGEdit手法は「non-init. exist. there」のPrec@100スコアが08.42であったのに対し、AutoGは03.29、AutoIDは00.69であった。これは顕著な改善を示している。
• 本手法は社会言語学的知見を的確に再現した：男性およびプリンスヴィルにおいて特徴頻度が高く、ワシントンD.C.やロチェスターと比較して、先行研究と整合した。
• モデルは若年層および低所得層において特徴使用頻度が高くなると予測し、Grieser（2019）およびCukor-AvilaとBalcazar（2019）の報告と一致した。
• 年齢層間の特徴頻度の標準偏差は、しばしば年齢層内での変動よりも大きかった。これは個々の変動が著しく高いことを示しており、モデルはこれを正確に捉えていた。
• インド英語の10の特徴およびアフリカ系アメリカ英語の17の特徴検出モデルとその訓練データを公開することで、低リソース言語変種分析分野における再現可能で拡張可能な研究が可能になった。