[論文レビュー] Transfer Learning for British Sign Language Modelling

Boris Mocialov, Graham Turner+1 more|arXiv (Cornell University)|Jun 3, 2020

Hand Gesture Recognition Systems参考文献 35被引用数 8

ひとこと要約

本稿では、British Sign Language (BSL) の gloss 語彙モデル化を改善するため、事前学習済み英語言語モデルを用いた転移学習を提案している。微調整とレイヤー置換を用いることで、より低い perplexity を達成している。構文的差異があるにもかかわらず、Penn Treebank で事前学習されたモデルを BSL データで微調整することで、直接学習されたモデルを上回る性能を示しており、低リソースな手話言語における転移学習の有効性を示している。

ABSTRACT

Automatic speech recognition and spoken dialogue systems have made great advances through the use of deep machine learning methods. This is partly due to greater computing power but also through the large amount of data available in common languages, such as English. Conversely, research in minority languages, including sign languages, is hampered by the severe lack of data. This has led to work on transfer learning methods, whereby a model developed for one language is reused as the starting point for a model on a second language, which is less resourced. In this paper, we examine two transfer learning techniques of fine-tuning and layer substitution for language modelling of British Sign Language. Our results show improvement in perplexity when using transfer learning with standard stacked LSTM models, trained initially using a large corpus for standard English from the Penn Treebank corpus

研究の動機と目的

• British Sign Language (BSL) において大規模なアノテート済みコーパスが存在しないというデータ不足の課題に対処すること。
• 高リソース言語（例：英語）から転移学習を適用することで、低リソースな手話言語の語彙モデル化性能を向上させられるかどうかを調査すること。
• BSL gloss シーケンスに適用した際の、微調整とレイヤー置換の2つの転移学習手法の効果を評価し、perplexity の低減度を比較すること。
• 事前に英語テキストで学習されたニューラル言語モデルを、手話の転写（gloss レベル）に適用する可能性を評価すること。
• 転移学習が、話言語処理と手話言語処理の間のギャップを埋める可能性を探索し、聴覚障害コミュニティのためのよりアクセス可能な人間-コンピュータインタラクションを実現すること。

提案手法

• 大規模な英語テキストコーパスである Penn Treebank (PTB) データセットで深層ニューラルネットワーク言語モデルを事前学習し、一般的な言語パターンを学習すること。
• BSL gloss 単語コーパスを用いて、モデルのすべての重みを更新することで、事前学習済みモデルを微調整すること。
• レイヤー置換を実装し、事前学習済みモデルの最終層を新しいランダム初期化された層に置き換え、残りのネットワークは固定したまま、新しい層のみを微調整すること。
• 事前学習および微調整の両段階で、スタックド Long Short-Term Memory (LSTM) およびフィードフォワードニューラルネットワーク (FFNN) アーキテクチャを用いること。
• BSL テストセット上で、直接学習されたモデルと比較するための主な評価指標として perplexity を使用すること。
• BSL コーパスを事前処理し、動画アノテート済みのサインを HamNoSys に類似した表記法を用いて gloss シーケンスに変換することで、既存の手話転写基準と整合性を保つこと。

実験結果

リサーチクエスチョン

• RQ1 英語のような高リソース言語から転移学習を適用することで、British Sign Language のような低リソースな手話言語の語彙モデル化性能を向上させられるか？
• RQ2 BSL gloss シーケンスに適用した場合、微調整とレイヤー置換は、perplexity の低減度と収束速度の点でどのように比較されるか？
• RQ3 構文的・構造的差異があるにもかかわらず、英語テキストで事前学習したモデルが、BSL 語彙モデル化におけるデータ不足問題をどれほど軽減できるか？
• RQ4 事前学習済みモデルを用いることで、ランダム初期化からの学習と比較して、BSL テストデータにおける一般化性能が向上するか？
• RQ5 テキストベースの NLP に特化した転移学習手法を、手話の gloss の順序的構造をモデル化するために効果的に適応できるか？

主な発見

• 転移学習により、BSL テストセットにおける perplexity が顕著に低減した：微調整済み LSTMs では perplexity 125.32 を達成したのに対し、直接 BSL で学習したモデルは 274.03 であった。
• 微調整済み FFNN モデルは perplexity 123.92 を達成し、直接学習したモデル（258.10）を上回った。これは、前向きアーキテクチャにおいても転移学習の有効性を示している。
• レイヤー置換は競争力のある結果を示し、LSTM では perplexity 121.46 を達成した。これは、大部分の重みを固定したまま最終層のみを学習する方法が、完全な微調整の代替として効率的である可能性を示している。
• 英語と BSL の間には構文的差異があるものの、事前学習済み英語モデルの語彙カバレッジ（BSL で 12.71% の OOV）が意味のある転送を可能にした。これは、gloss レベルで共通の語彙的・構文的パターンが存在することを示唆している。
• 英語言語モデルの最先端ベンチマークより低い結果となったが、これは限定的な学習エポック数（100）と高度な正則化技術の欠如によるものであり、今後の最適化によりさらなる改善が期待できる。
• 本研究では、出発言語とターゲット言語の構造的差異が著しい場合でも、低リソースな手話言語における転移学習が有効であることを示しており、今後の手話 NLP 分野における研究の道筋を開いている。