[論文レビュー] Learning Job Titles Similarity from Noisy Skill Labels

Rabih Zbib, Lucas Lacasa Alvarez+6 more|arXiv (Cornell University)|Jul 1, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、ノイズの多いスキルラベルから得られる密ベクトル埋め込みを模倣することで、意味的類似性を学習する教師なし手法「ジョブ類似度学習」を提案する。この手法は、テキストランキングおよびジョブ正規化タスクにおいて、先行する最先端手法であるJobBERTを上回る性能を示し、低品質なスキルデータでも頑健な性能を発揮することを実証した。

ABSTRACT

Measuring semantic similarity between job titles is an essential functionality for automatic job recommendations. This task is usually approached using supervised learning techniques, which requires training data in the form of equivalent job title pairs. In this paper, we instead propose an unsupervised representation learning method for training a job title similarity model using noisy skill labels. We show that it is highly effective for tasks such as text ranking and job normalization.

研究の動機と目的

• ジョブタイトル類似度モデルを訓練するための高品質なラベル付きデータを取得する課題に対処すること。
• ジョブタイトルの意味的表現を学習するための代理信号として、ノイズの多いスキルラベルを活用する教師なし訓練手順を開発すること。
• 高価な人間による類似ペアのラベル付けに依存せずに、テキストランキングやジョブ正規化などの下流タスクにおける性能を向上させること。
• スキルラベルのノイズや一貫性の欠如にもかかわらず、スキルベースの監視が、頑健なジョブタイトル埋め込みを学習するのにどの程度有効であるかを評価すること。
• テキストランキングタスクにおけるジョブタイトル類似度評価のための新しいベンチマークデータセットをリリースすること。

提案手法

• まず、事前学習済みのDoc2vecモデルを用いて、各ジョブタイトルに関連するノイズの多いスキルセットから補助的な密ベクトル埋め込みを学習する。
• 次に、ニューラルジョブタイトルエンコーダー（BiLSTMまたはBERT）を訓練し、生のジョブタイトルを補助的スキル埋め込みと同じベクトル空間にマップさせる。
• エンコーダーは、エンコーダーの出力と事前に計算されたスキルベースの埋め込みベクトルとの距離を最小化するコントラスト型損失関数を用いて訓練される。
• 訓練には人間による類似ペアのラベルは一切不要で、ジョブタイトルと関連するスキルラベルのみを用いる。
• 訓練プロセスはエンドツーエンドであり、エンコーダーはノイズの多いスキルから意味的パターンを学習することで、未観測のジョブタイトルにも一般化可能である。
• 最終的なモデルは、意味的類似度、検索、正規化タスクに使用可能な固定サイズの密ベクトルをジョブタイトルに対して出力する。

実験結果

リサーチクエスチョン

• RQ1 人間による類似ペアのラベルが存在しない状況でも、ノイズの多いスキルラベルを効果的に用いてジョブタイトルエンコーダーを意味的類似度の学習に向けた訓練できるか？
• RQ2 テキストランキングおよびジョブ正規化タスクにおいて、提案手法「ジョブ類似度学習」の性能は、教師ありおよび他の教師なしベースラインと比べてどの程度優れているか？
• RQ3 訓練データにおけるスキルからジョブへのマッピングの品質が、モデルの性能にどの程度依存しているか？
• RQ4 学習されたジョブタイトル表現は、未観測のジョブタイトルに対して一般化可能であり、多言語およびクロスリンガル設定でも良好に機能するか？
• RQ5 訓練されたエンコーダーは、ジョブタイトルに関連するスキル情報をどの程度適切に捉えているか？

主な発見

• ジョブ類似度学習手法は、ジョブ正規化ベンチマークでMRR 0.3414を達成し、JobBERTのMRR 0.3092を上回った。
• テキストランキングタスクでは、BERTベースのエンコーダーを用いた場合、P@10が0.5400に達し、JobBERTのP@10 0.4604を上回った。
• 直接的なスキルベクトルマッチングに比べて、意味的エンコーダーを学習することで、ノイズの多いスキルセットを直接用いるベースラインを著しく上回る性能を示した。
• ノイズの多いスキルでさえも、本手法は強力な性能を発揮し、低品質な監視信号からも効果的に学習できることを示した。
• 多言語およびクロスリンガル設定でも性能が頑健であることが、付録0.Bのアブレーションスタディで示された。
• アブレーションスタディ（付録0.C）により、モデルの出力が実際のスキルセットと強く相関していることが確認され、エンコーダーが意味的なスキル関連情報を適切に捉えていることが裏付けられた。