[論文レビュー] Uncertainty-aware Evaluation of Time-Series Classification for Online Handwriting Recognition with Domain Shift

Andreas Klaß, Sven M. Lorenz+5 more|arXiv (Cornell University)|Jun 17, 2022

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本論文は、右利きと左利きの筆者の間でドメインシフトが生じる状況下において、SWAGおよびディープアンサンブルを用いて、不確実性を考慮した時系列分類のオンライン筆跡認識を評価し、エントロピーと相互情報量がモデルの精度と強く相関しており、分布外のサンプルを検出できることを示している。特に、右利きと左利きの筆者の区別において顕著である。

ABSTRACT

For many applications, analyzing the uncertainty of a machine learning model is indispensable. While research of uncertainty quantification (UQ) techniques is very advanced for computer vision applications, UQ methods for spatio-temporal data are less studied. In this paper, we focus on models for online handwriting recognition, one particular type of spatio-temporal data. The data is observed from a sensor-enhanced pen with the goal to classify written characters. We conduct a broad evaluation of aleatoric (data) and epistemic (model) UQ based on two prominent techniques for Bayesian inference, Stochastic Weight Averaging-Gaussian (SWAG) and Deep Ensembles. Next to a better understanding of the model, UQ techniques can detect out-of-distribution data and domain shifts when combining right-handed and left-handed writers (an underrepresented group).

研究の動機と目的

• 右利きと左利きの筆者間のドメインシフト下におけるオンライン筆跡認識（OnHW）における不確実性定量化（UQ）手法の評価を目的とする。
• 信頼性のキャリブレーション、期待キャリブレーション誤差（ECE）、および信頼性図を用いて、アルエアトリックおよびエピステミック不確実性推定の信頼性を評価することを目的とする。
• 不確実性分解が分布外のサンプルを検出でき、実世界の展開におけるモデルのロバストネスを向上させられるかを調査することを目的とする。
• スパティオトロピカルMTS分類におけるドメインシフトを想定し、SWAGとディープアンサンブルの性能および計算コストを比較することを目的とする。
• 大文字、小文字、混合文字分類タスクを統合した状況において、不確実性測定の一般化可能性を評価することを目的とする。

提案手法

• スティリスティック・ウェイト・アveraging・ガウス型（SWAG）およびディープアンサンブルを用いて、ベイジアン推論によりOnHWモデルの予測不確実性を推定する。
• Kwonら（2018）およびSmithら（2018）の不確実性分解手法を用い、エントロピーと相互情報量を介してアレアトリックおよびエピステミック不確実性を分離する。
• モデルの信頼性と誤キャリブレーションの評価に、信頼性キャリブレーションおよび期待キャリブレーション誤差（ECE）を用いる。
• 右利き筆者のデータでモデルを学習し、左利き筆者で評価することでドメインシフトを模擬する。
• 信頼性図とエントロピー分布の可視化により、不確実な予測に対するしきい値戦略を評価する。
• 加速度計、ジャイロスコープ、磁力計、力センサーを備えたセンサー内蔵ペンから得られる多次元時系列（MTS）データを分類モデルの入力として用いる。

実験結果

リサーチクエスチョン

• RQ1 ドメインシフトを伴うOnHWにおける不確実性推定において、SWAGとディープアンサンブルはどのように比較されるか？
• RQ2 エントロピーと相互情報量は、OnHWタスクにおける分類精度とどの程度相関しているか？
• RQ3 不確実性分解は、特に左利き筆者由来の分布外サンプルを効果的に検出できるか？
• RQ4 右利き筆者で学習し、左利き筆者でテストした場合、モデルの性能とキャリブレーションはどのように変化するか？
• RQ5 不確実性のしきい値は、筆跡認識システムの実世界展開においてどのような実用的意味を持つのか？

主な発見

• SWAGとディープアンサンブルは不確実性推定において類似した性能を示すが、SWAGは計算コストがより低い。
• エントロピーと相互情報量はモデルの精度と強く相関しており、2.0ビット以上のエントロピーを示すサンプルでは約82％の精度、それ未満では約31％の精度を示した。
• 右利き筆者のみで学習したモデルは、左利き筆者で評価した際に過信的でキャリブレーションが不適切になる傾向を示し、ドメインシフトの影響が顕著に現れた。
• 大文字と小文字を統合した分類タスクでは、単一ケースタスクに比べて精度が低く、不確実性が高くなった。
• エントロピーと相互情報量による不確実性分解は、アレアトリックとエピステミック不確実性の原因を明確に区別できず、解釈性に制限がある。
• センサデータの解釈の複雑さと、筆跡スタイルや運動的特徴との直接的な関連性の欠如により、信頼性のある不確実性しきい値を事前に定義することは困難である。