[論文レビュー] Word Embeddings for the Construction Domain

Antoine J.‐P. Tixier, Michalis Vazirgiannis+1 more|arXiv (Cornell University)|Oct 28, 2016

Topic Modeling参考文献 16被引用数 9

ひとこと要約

この論文では、1100万語の建設業界特化型コーパスで訓練されたカスタム単語埋め込みモデルを紹介しており、事故報告分類タスクにおいて、一般向けのGoogle Newsベクトルを上回る性能を示している。ハイパーパramータチューニングなしで、ローカル埋め込みは競争力あるか、あるいはそれを上回る性能を発揮し、キーワードベースの圧縮により、F1スコアが10%低下するのみで8倍の高速化を達成している。

ABSTRACT

We introduce word vectors for the construction domain. Our vectors were obtained by running word2vec on an 11M-word corpus that we created from scratch by leveraging freely-accessible online sources of construction-related text. We first explore the embedding space and show that our vectors capture meaningful construction-specific concepts. We then evaluate the performance of our vectors against that of ones trained on a 100B-word corpus (Google News) within the framework of an injury report classification task. Without any parameter tuning, our embeddings give competitive results, and outperform the Google News vectors in many cases. Using a keyword-based compression of the reports also leads to a significant speed-up with only a limited loss in performance. We release our corpus and the data set we created for the classification task as publicly available, in the hope that they will be used by future studies for benchmarking and building on our work.

研究の動機と目的

• 建設分野の自然言語処理研究を目的とした、1100万語の公開可能な大規模で構築済みのコーパスを提供・リリースすること。
• 一般向けの埋め込みと比較して、建設分野特化型の単語埋め込みが、建設分野の自然言語処理タスクにおいて性能を向上させるかどうかを評価すること。
• 分類とキーワード抽出のベンチマーク用に、11のラベル変数を備えた5,845件の事故報告からなる新規の公開共有データセットを紹介すること。
• キーワードベースの圧縮を用いて、計算効率と分類精度のトレードオフを評価すること。
• 特に安全リスクモデリングや怪我予測の分野において、単語埋め込みの実用可能性と利点を示すこと。

提案手法

• 建設マニュアル、安全報告書、技術文書などを含む、自由に入手可能なオンライン資料から1100万語の建設業界特化型コーパスを構築した。
• デフォルトのハイパーパramータを用いて、カスタムコーパス上でword2vecスキップグラムモデルを訓練し、密な低次元単語ベクトル（m=300）を生成した。
• 11個の従属変数を有する新規の事故報告分類データセットを用い、4分割交差検証の設定で埋め込みの性能を評価した。
• F1スコアと計算時間の両面から、カスタム埋め込みとGoogle News単語ベクトル、およびbag-of-wordsベースラインの性能を比較した。
• CoreRankを用いて、各報告書ごとに上位30%のランクの高い語を選択することで、キーワードベースの圧縮を実施し、入力サイズを縮小し、推論速度を向上させた。
• 全分類タスクにおいて、完全なテキスト入力と比較して、性能の低下と高速化の度合いを測定した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型の建設コーパスで訓練された単語埋め込みは、建設テキストに特有の意味的・文法的関係を適切に捉えられるか？
• RQ2 Google Newsなどの一般向け埋め込みと比較して、カスタム建設埋め込みは、複数の怪我関連カテゴリの事故報告分類において、どの程度優れた性能を示すか？
• RQ3 事故報告のキーワードベースの圧縮は、計算コストをどの程度削減できるか、かつ分類性能はどの程度維持できるか？
• RQ4 特殊な建設自然言語処理タスクにおいて、グローバルで事前学習された埋め込みと比較して、ローカルのドメイン特化型埋め込みに性能上の利点があるか？
• RQ5 ドメイン特化型埋め込みと圧縮された入力表現の組み合わせにより、許容可能な精度損失の範囲で、より高速かつスケーラブルな事故報告分類が可能になるか？

主な発見

• カスタムの1100万語の建設コーパスは、建設職人、安全用語、機器などのドメイン固有の概念を効果的に表現する単語埋め込みを生成できた。
• ハイパーパramータチューニングなしで、カスタム埋め込みは11の事故分類タスクのうち5つでGoogle News単語ベクトルを上回り、特に「安全違反」と「機器」のカテゴリで顕著な優位性を示した。
• キーワードベースの圧縮により、8コアのマシン上で4分割交差検証の際、平均計算時間が9.7K秒から1.1K秒にまで短縮され、8倍の高速化が達成された。
• 圧縮による性能低下は、全観測値を対象に測定した全体のF1スコアで約10%にとどまった。
• Google News埋め込みは全体的に優れた性能を示したが、カスタム埋め込みは半数の分類タスクでそれを上回り、ドメイン固有の知識が有益であることを示した。
• 建設コーパス上でファインチューニングまたは事前学習を行うことでさらなる性能向上が可能であり、現在の結果から、小規模で専門性の高いドメインではローカル埋め込みが優位であると示唆された。