[論文レビュー] belabBERT: a Dutch RoBERTa-based language model applied to psychiatric classification

Joppe Wouts, Janna N. de Boer+4 more|arXiv (Cornell University)|Jun 2, 2021

Mental Health via Writing被引用数 4

ひとこと要約

本論文では、32 GB のオランダ語ウェブコーパスを用いて微調整された RoBERTa ベースのオランダ語言語モデル belabBERT を紹介する。このモデルは、臨床的テキストからの精神的障害の分類を改善することを目的としている。belabBERT は、既存の RobBERT モデルおよび音声のみを用いた分類手法を上回り、オランダ語のような低リソース言語における大規模で文脈を考慮した NLP の有効性を示している。

ABSTRACT

Natural language processing (NLP) is becoming an important means for automatic recognition of human traits and states, such as intoxication, presence of psychiatric disorders, presence of airway disorders and states of stress. Such applications have the potential to be an important pillar for online help lines, and may gradually be introduced into eHealth modules. However, NLP is language specific and for languages such as Dutch, NLP models are scarce. As a result, recent Dutch NLP models have a low capture of long range semantic dependencies over sentences. To overcome this, here we present belabBERT, a new Dutch language model extending the RoBERTa architecture. belabBERT is trained on a large Dutch corpus (+32 GB) of web crawled texts. We applied belabBERT to the classification of psychiatric illnesses. First, we evaluated the strength of text-based classification using belabBERT, and compared the results to the existing RobBERT model. Then, we compared the performance of belabBERT to audio classification for psychiatric disorders. Finally, a brief exploration was performed, extending the framework to a hybrid text- and audio-based classification. Our results show that belabBERT outperformed the current best text classification network for Dutch, RobBERT. belabBERT also outperformed classification based on audio alone.

研究の動機と目的

• オランダ語における長距離の意味的依存関係を捉えることが難しい高精度な NLP モデルの不足に対処すること。
• 精神的障害分類に特化した、強固で大規模な言語表現モデルを構築すること。
• belabBERT を用いたテキストベース分類の性能を、既存のモデル（例：RobBERT）および音声ベース分類手法と比較すること。
• テキストおよび音声を組み合わせたハイブリッド分類フレームワークの可能性を検討すること。

提案手法

• 32 GB を超えるウェブクロールドデータを含む大規模なオランダ語テキストコーパス上で微調整された RoBERTa アーキテクチャ。
• 文脈的な表現を学ぶために、マスクド言語モデルと次文予測の事前学習目的を活用。
• 下流タスクの性能向上を目的として、事前学習済みの belabBERT モデルを精神的障害分類データセットで微調整。
• 標準的な評価指標を用いて、テキストのみのタスクにおける belabBERT と RobBERT の分類性能を比較。
• 同じ精神的障害分類タスクにおいて、音声特徴を用いた音声ベース分類モデルの評価。
• belabBERT からのテキスト埋め込みと音声埋め込みを組み合わせたハイブリッドフレームワークの検討。

実験結果

リサーチクエスチョン

• RQ1 RoBERTa ベースの大規模言語モデルである belabBERT は、既存のモデルと比較してオランダ語における精神的障害分類性能を向上させることができるか？
• RQ2 テキストベース分類における belabBERT の性能は、音声ベース分類と比較してどうなるか？
• RQ3 テキストと音声特徴を組み合わせることで、精神的障害診断における分類性能はどの程度向上するか？
• RQ4 より大規模かつ多様なオランダ語事前学習コーパスの使用は、精神的テキストにおける長距離意味的理解の向上に寄与するか？

主な発見

• belabBERT は、既存の最先端のオランダ語モデルである RobBERT よりも、テキストベースの精神的障害分類タスクで優れた性能を示した。
• 音声のみを用いた分類モデルの性能を belabBERT が上回ったことから、このタスクにおいてテキスト特徴の強みが裏付けられた。
• テキストおよび音声を組み合わせたハイブリッド分類フレームワークは有望であるが、具体的な定量的改善は詳細に記載されていなかった。
• 多様なオランダ語テキストに対する大規模事前学習のおかげで、belabBERT は長距離意味的依存関係の捉えを強化した。
• 結果から、低リソース言語（オランダ語）における臨床的 NLP 応用において、大規模で多言語事前学習の価値が確認された。
• 以前の研究（arXiv:2008.01543）と著しくテキストの重複が認められ、モデルアーキテクチャの段階的発展であることが示唆された。