[論文レビュー] Few-shot tweet detection in emerging disaster events

Anna Kruspe|arXiv (Cornell University)|Oct 5, 2019

Public Relations and Crisis Communication参考文献 21被引用数 5

ひとこと要約

本稿では、10個以下のラベル付き例のみを用いて自然災害関連ツイートを検出するための少サンプル学習モデル——特にマッチングネットワーク、プロトタイプネットワーク、および新規のワンウェイプロトタイプネットワーク——を提案する。イベント対全般設定において、ワンウェイプロトタイプネットワークはわずか10個のサポート例でF₁スコア0.9を達成し、現実的でない検出タスクにおいても先行する最先端手法を上回ることを示している。

ABSTRACT

Social media sources can provide crucial information in crisis situations, but discovering relevant messages is not trivial. Methods have so far focused on universal detection models for all kinds of crises or for certain crisis types (e.g. floods). Event-specific models could implement a more focused search area, but collecting data and training new models for a crisis that is already in progress is costly and may take too much time for a prompt response. As a compromise, manually collecting a small amount of example messages is feasible. Few-shot models can generalize to unseen classes with such a small handful of examples, and do not need be trained anew for each event. We compare how few-shot approaches (matching networks and prototypical networks) perform for this task. Since this is essentially a one-class problem, we also demonstrate how a modified one-class version of prototypical models can be used for this application.

研究の動機と目的

• 最小限のラベル付きデータで新規の危機的出来事に特化した災害関連ツイートを検出する課題に対処すること。
• 大規模かつ事前にラベル付けされたデータセットを必要とする汎用的災害検出モデルの限界を克服すること。
• 少ない数の例（少サンプル）のツイートのみを活用して、未観測の災害イベントを検出できるシステムを開発すること。
• 2つの現実的状況——イベント対イベントおよびイベント対全般——における少サンプルモデルの性能を評価すること。
• 少データ災害検出におけるワンクラス分類に適したワンウェイプロトタイプネットワークの有効性を調査すること。

提案手法

• 少サンプル学習フレームワークを用いる：マッチングネットワーク、プロトタイプネットワーク、およびワンクラス分類に適合させた変更版のワンウェイプロトタイプネットワーク。
• マッチングネットワークでは、シアンセイ（二重）ニューラルネットワークを用い、クエリツイートとサポート例との間のコサイン類似度により比較を行う。
• プロトタイプネットワークでは、サポート例の平均埋め込みとしてクラスプロトタイプを計算し、クエリツイートをユークリッド距離に基づいて分類する。
• ワンウェイプロトタイプネットワークでは、負例クラスを原点に固定することで、負例のサポート例が不要なワンクラス学習を可能にする。
• CrisisLexT26およびCrisisNLPデータセット上でモデルを学習し、1〜10個の例を用いたイベント固有のサポートセットでファインチューニングを行う。
• F₁スコアを用いて2つの設定——イベント対イベント（トピックが重複する）およびイベント対全般（明確な負例クラス）——における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 1〜10個のラベル付き例しか利用できない状況で、少サンプルモデルはイベント固有の災害関連ツイートをどの程度検出できるか？
• RQ2 トピックが重複する状況におけるイベント対イベント分類設定において、マッチングネットワークとプロトタイプネットワークの性能はどのように比較されるか？
• RQ3 負例のサポート例を必要としない状況で、ワンウェイプロトタイプネットワークはワンクラス分類を効果的に処理できるか？
• RQ4 現実の状況に近いイベント対全般の設定は、イベント対イベントの設定よりも高いF₁スコアを達成するか？
• RQ5 提案された少サンプルアプローチは、最小限のラベル付きデータで既存の最先端手法を上回ることができるか？

主な発見

• イベント対イベント設定では、トピックの類似性によりクラスプロトタイプが重複するため、プロトタイプネットワークの性能がマッチングネットワークに劣る。
• より現実的であるイベント対全般設定において、プロトタイプネットワークはわずか10個のサポート例でF₁スコア0.9を達成し、このタスクにおける最先端手法を上回った。
• ワンウェイプロトタイプネットワークは非常に少ない例（1〜3例）でも強く性能を発揮し、負例が明示的に提供されていなくても高い性能を維持した。
• イベント対全般設定では、負例ツイートの分布が広いため、マッチングネットワークは一般化がうまくいかず、最近傍分類が効果を発揮しなかった。
• 3例以上のサポート例がある場合、二方向プロトタイプネットワークがワンウェイバージョンを上回った。これは、負の重心を三角測定することで性能が向上することを示している。
• 結果から、手作業で選別された高品質な例を用いることで、評価で使用されたランダムサンプリングを超えて性能が向上する可能性があると示唆された。