[論文レビュー] ManTIME: Temporal expression identification and normalization in the TempEval-3 challenge

Michele Filannino, Gavin Brown+1 more|arXiv (Cornell University)|Apr 30, 2013

Natural Language Processing Techniques参考文献 7被引用数 17

ひとこと要約

ManTIMEは、TempEval-3チャレンジにおける時系列表現同定および正規化のためのCRFベースのシステムであり、後処理パイプラインを備えている。同システムは、同定で0.90のF1スコア、正規化で0.84のタイプ正確度を達成した。WordNet特徴量は性能を低下させ、銀標準データでさえも、広範な使用にもかかわらず結果の向上をもたらさなかった。

ABSTRACT

This paper describes a temporal expression identification and normalization system, ManTIME, developed for the TempEval-3 challenge. The identification phase combines the use of conditional random fields along with a post-processing identification pipeline, whereas the normalization phase is carried out using NorMA, an open-source rule-based temporal normalizer. We investigate the performance variation with respect to different feature types. Specifically, we show that the use of WordNet-based features in the identification task negatively affects the overall performance, and that there is no statistically significant difference in using gazetteers, shallow parsing and propositional noun phrases labels on top of the morphological features. On the test data, the best run achieved 0.95 (P), 0.85 (R) and 0.90 (F1) in the identification phase. Normalization accuracies are 0.84 (type attribute) and 0.77 (value attribute). Surprisingly, the use of the silver data (alone or in addition to the gold annotated ones) does not improve the performance.

研究の動機と目的

• TempEval-3チャレンジにおける時系列表現同定および正規化のための堅牢なシステムの開発。
• 形態素、構文、地名帳、WordNetといったさまざまな特徴量タイプが同定性能に与える影響の評価。
• ゴールドアノテートデータのみと比較して、銀標準データがシステム性能を向上させるかの評価。
• 後処理パイプラインがCRFベースの同定結果を向上させる有効性の調査。
• 更新されたルールベースのシステム、NorMAを用いた正規化正確度の評価。

提案手法

• 同定フェーズでは、BIOラベル付け方式とカスタム要因グラフトポロジーを用いた線形条件付き確率場（CRF）を採用している。
• 特徴量には、形態素（例：語形、基本形、パターン、正規表現）、構文（フレーズ断片、語名詞句）、地名帳（例：都市、国籍）、およびWordNetベースの特徴量（例：意味、上位概念、下位概念）が含まれる。
• 後処理パイプラインは3つのモジュールを含む：確率的補正、BIO修復（不正なラベル遷移を是正）、しきい値ベースのラベル切り替え（事前確率が0.87以上の場合にCRF予測を上書き）。
• 正規化フェーズでは、時系列表現をTimeML形式のタイプおよび値属性にマッピングするため、オープンソースのルールベース正規化ツールであるNorMAを用いている。
• モデル選択およびハイパーパrameterチューニングには、ゴールドデータと銀データの混合学習セットを用いた5×10分割交差検証を実施し、シャッフルのシード値は490とした。
• 最終システムは、F1スコア、適合率、再現率、値/タイプ正確度のメトリクスを用いて、TempEval-3テストセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 WordNetベースの特徴量の導入は、CRFベースのシステムにおける時系列表現同定性能を向上させるか？
• RQ2 構文的および地名帳特徴量は、形態素特徴量のみに比べて、同定性能を顕著に向上させるか？
• RQ3 TE3Silverコーパスからの銀標準データを学習に用いることで、システム性能が向上するか？
• RQ4 後処理パイプラインは、時系列表現同定における適合率および再現率をどの程度向上させるか？
• RQ5 学習データの構成（ゴールド対銀）が、タイプおよび値属性の正規化正確度に与える影響はいかほどか？

主な発見

• 最高性能を示した実験では、ゴールドアノテートデータと後処理パイプラインを用いて、適合率0.95、再現率0.85、F1スコア0.90を達成した。
• WordNetベースの特徴量の使用は、同定性能を著しく低下させ、分散分析（ANOVA）によるp値が0.0054であった。これは、統計的に有意な悪影響を示している。
• 構文的および地名帳特徴量は、形態素特徴量のみと比較して、統計的に有意な性能差を示さなかった。これは、追加の価値が限定的である可能性を示唆している。
• 正規化ではタイプ正確度0.84、値正確度0.77を達成した。これは、新しい語彙的パターンや値の解釈に課題があることを示している。
• 銀データは、ゴールドデータと組み合わせても、または単独でも性能向上をもたらさなかった。これは、7倍の規模にもかかわらず、ノイズや分布の不一致の可能性を示唆している。
• 後処理パイプラインはF1スコアを2.27%（p=3.51×10−23）有意に向上させた。特にゴールドアノテートデータにおいて最も高い向上が観察され、CRF予測の精練に有効であることが示された。