[論文レビュー] Overview of the Triple Scoring Task at the WSDM Cup 2017

Hannah Bast, Björn Buchhold+1 more|arXiv (Cornell University)|Dec 21, 2017

Topic Modeling参考文献 4被引用数 13

ひとこと要約

本論文は、WSDM Cup 2017 Triple Scoring Taskを提示しており、これは、主語がタイプ（例：職業や国籍）にどれほど適合するかに基づき、知識ベースの三項対に0から7の整数の関連スコアを割り当てるものである。優勝チームは、Wikipedia文の分析とFreebaseパス特徴を含む4つの手法のアンサンブルに加え、トリガ語の後処理を組み合わせることで、87%の正確性と1.50の平均スコア差（ASD）を達成し、ベースラインを著しく上回った。

ABSTRACT

This paper provides an overview of the triple scoring task at the WSDM Cup 2017, including a description of the task and the dataset, an overview of the participating teams and their results, and a brief account of the methods employed. In a nutshell, the task was to compute relevance scores for knowledge-base triples from relations, where such scores make sense. Due to the way the ground truth was constructed, scores were required to be integers from the range 0..7. For example, reasonable scores for the triples "Tim Burton profession Director" and "Tim Burton profession Actor" would be 7 and 2, respectively, because Tim Burton is well-known as a director, but he acted only in a few lesser known movies. The triple scoring task attracted considerable interest, with 52 initial registrations and 21 teams who submitted a valid run before the deadline. The winning team achieved an accuracy of 87%, that is, for that fraction of the triples from the test set (which was revealed only after the deadline) the difference to the score from the ground truth was at most 2. The best result for the average difference from the test set scores was 1.50.

研究の動機と目的

• 主語が与えられたタイプ（例：職業や国籍）にどれほど適合するかに基づき、知識ベースの三項対に0～7の関連スコアを割り当てる手法を開発すること。
• 人間の判断における関連性の評価を、直感的な「驚き」や「予想外さ」の概念（例：フェデラーが南アフリカ人であると知ったときどれほど驚くか）を反映する形でモデル化すること。
• 1,387個の三項対について、各三項対に対して7つの二値判断が得られたクラウドソーシングによる真値を用いて、エンティティ関連スコアリングにおける自己教師あり学習のベンチマークを構築すること。
• 710個のホールドアウトテストセットに対して、3つの指標（正確性（ACC）、平均スコア差（ASD）、 Kendall’s tau（TAU））を用いてシステムを評価すること。
• 外部データ（例：Wikipedia文）およびヒューリスティックな後処理（例：トリガ語）が、明示的な教師信号なしにスコア推定を改善する有効性を調査すること。

提案手法

• Wikipedia文を用いた3つの先行研究の手法と、Freebaseパス特徴を用いて高スコアか低スコアかを予測する第4の手法を組み合わせたアンサンブル学習器。
• Freebaseパス特徴は、二値分類器の入力として使用され、三項対（例：ジョン・デッピン | 国籍 | アメリカ合衆国）が高スコアか低スコアかを決定する。
• WordNet、同義語、手動でのキュレーションから、タイプに関連する意味的に強い語（例：国籍の場合は「ドイツ」や「ドイツ人」）であるトリガ語を抽出した。
• 後処理ルールとして、主語のWikipedia記事の最初の文にトリガ語が含まれる場合はスコアを少なくとも5に引き上げ、そうでない場合は最初の段落全体にトリガ語が存在しない場合、スコアを2にキャップした。
• アンサンブル出力を、これらのトリガ語ルールを用いて微調整し、人間の直感に即した関連性の評価と一致させるように改善した。
• すべてのチームが、教師なし学習のための提供済みの3300万件のWikipedia文を使用し、トレーニングセット（677三項対）に対して明示的な教師信号は使用しなかった。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありモデルは、職業や国籍を含む知識ベースの三項対について、人間の類似スコアをどれほど正確に推定できるか？
• RQ2 教師なし環境下で、Wikipedia文特徴とFreebaseパス特徴がスコア推定をどの程度向上させるか？
• RQ3 トリガ語に基づく後処理は、伝記的テキスト内の顕著な言語的手がかりを用いてスコア推定をどの程度改善できるか？
• RQ4 ACC、ASD、TAUといった異なる評価指標どうしの相関関係は何か？ そして、タスクの真のパフォーマンスを最もよく反映するのはどれか？
• RQ5 学習済みモデルと組み合わせた単純なヒューリスティクス（例：トリガ語ルール）は、性能向上に著しく寄与するか？

主な発見

• 優勝チームは、テストセットで87%の正確性（真値から±2以内）を達成し、平均スコア差（ASD）は1.50であった。これは、ベースラインを著しく上回った。
• 単純なベースライン（ランダムなスコア割り当て）は、全チームの3分の1以上を上回ったACCを達成しており、多くのチームが2-5トリック（2と5にスコアを集中させることでACCを最大化する戦略）を活用できていなかったことを示している。
• TAU（Kendall’s tau）におけるパフォーマンスは、ACCおよびASDと弱い相関しか示さず、順位付けとスコア推定が別々の課題であることを示唆している。
• ASDはACCよりもより頑健で意味のある指標であると判明した。ASDは2-5トリックの恩恵を受けず、正確なスコア推定の難易度をよりよく反映している。
• Bokchoyチームの手法は、4つのモデルのアンサンブルに加え、トリガ語の後処理を組み合わせ、ACC、ASD、TAUの3つの指標すべてで上位3位以内の成績を達成し、ハイブリッド手法の有効性を示した。
• 有効な21件の提出のすべてが提供済みのWikipedia文を使用しており、大多数が元の[3]論文の手法の変種を採用していたことから、このタスクにおいてテキストベースの特徴の有用性が確認された。