[論文レビュー] Temporal Probability Calibration

Tim Leathart, Maksymilian Polaczuk|arXiv (Cornell University)|Feb 7, 2020

Anomaly Detection Techniques and Applications参考文献 35被引用数 6

ひとこと要約

本稿では、入力の長さに応じてキャリブレーションパラメータを適応させる時間的確率キャリブレーション手法を提案し、不完全な入力を伴う順序モデルにおける確率推定の信頼性を向上させている。タイムステップベースのビニングと指数的温度スケーリングを導入し、NLPおよびエスポートスデータセットにおいて、グローバルキャリブレーションと比較して期待キャリブレーション誤差（ECE）を顕著に低減することを示している。

ABSTRACT

In many applications, accurate class probability estimates are required, but many types of models produce poor quality probability estimates despite achieving acceptable classification accuracy. Even though probability calibration has been a hot topic of research in recent times, the majority of this has investigated non-sequential data. In this paper, we consider calibrating models that produce class probability estimates from sequences of data, focusing on the case where predictions are obtained from incomplete sequences. We show that traditional calibration techniques are not sufficiently expressive for this task, and propose methods that adapt calibration schemes depending on the length of an input sequence. Experimental evaluation shows that the proposed methods are often substantially more effective at calibrating probability estimates from modern sequential architectures for incomplete sequences across a range of application domains.

研究の動機と目的

• 不完全なシーケンスを伴う順序モデルにおけるグローバル確率キャリブレーションの限界を解消すること。
• シーケンス長が変動するリアルタイム予測シナリオにおいて、分類確率推定の信頼性を向上させること。
• シーケンス生成の段階（例：ゲームのラウンド番号やスコア差）に応じてキャリブレーションパラメータを適応させる技術を開発すること。
• テキスト、動画、金融、エスポートを含む多様な順序データタイプに対して手法を評価すること。
• シーケンス長に応じたキャリブレーションが、ECEおよびNLLの観点で従来のグローバルキャリブレーションを上回ることを実証すること。

提案手法

• 固定長または可変長のシーケンスに対して、タイムステップベースのビニングを用いた離散的時間キャリブレーションを提案する。
• 連続時刻のシーケンスに対して、指数的減衰する温度スケーリングを用いた連続的時間キャリブレーションを導入する。
• 訓練およびキャリブレーション中に、各シーケンス長またはタイムステップごとに温度スケーリングを個別に適用し、キャリブレーションセットから学習する。
• 信頼性図において等頻度ビニングを用い、異なるシーケンス段階におけるキャリブレーション品質を評価する。
• トレーニングおよびキャリブレーション中に不完全なシーケンスをシミュレートするために、切断に基づくデータオーグメンテーションを適用する。
• 期待キャリブレーション誤差（ECE）および負の対数尤度（NLL）を指標として、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 従来のグローバルキャリブレーション手法は、不完全なシーケンスを伴う順序モデルにおける確率推定に効果的に対応できるか？
• RQ2 トランスフォーマーやRNNなどのモデルにおいて、シーケンス長に応じてキャリブレーション性能はどのように変化するか？
• RQ3 シーケンス長やタイムステップに応じてキャリブレーションパラメータを適応させることで、グローバル手法に比べてキャリブレーション品質が向上するか？
• RQ4 ラウンド番号やスコア差などの時間的特徴のうち、順序予測タスクにおけるキャリブレーションを誘導するために最も効果的なものは何か？
• RQ5 長さに適応するキャリブレーションは、スポーツ予測やNLPなどの実世界の順序応用においてECEおよびNLLを低減できるか？

主な発見

• CS:GOエスポートスデータセットにおいて、時間的特徴としてラウンド番号を用いたキャリブレーションにより、グローバルキャリブレーションと比較してECEが最大30％低減した。
• Large Movie Reviewデータセットでは、時間的キャリブレーションにシーケンス長を用いることで、全シーケンス長にわたりグローバル温度スケーリングよりもECEが25％低減した。
• 連続時刻設定では、指数的減衰する温度スケーリングがグローバルスケーリングを上回り、特にシーケンス生成の初期および後期段階で顕著な性能向上を示した。
• スコア差に基づくキャリブレーションは、ラウンド番号よりも性能が悪く、ゲームの各段階における時間的識別性が低いためと推定される。
• ディープアベーリージングネットワーク（DANs）は、時間的キャリブレーションにより最大の改善を示し、全テストモデルの中で最も低いNLLおよびECEを達成した。
• 信頼性図の結果から、時間的キャリブレーションが全シーケンス長にわたり信頼性を向上させ、特に中盤および終盤のゲームフェーズで顕著な改善が確認された。