[論文レビュー] Functional Outlier Detection and Taxonomy by Sequential Transformations

Wenlin Dai, Tomáš Mrkvička+2 more|arXiv (Cornell University)|Aug 16, 2018

Advanced Statistical Methods and Models参考文献 22被引用数 7

ひとこと要約

本稿では、関数的形状外れ値を検出・分類するための逐次的変換ベースの手法を提案する。形状外れ値を、関数的ボックスプロットを用いて特定可能な大きさ外れ値に変換することで、複数の変換による直感的な外れ値分類と、関数的インデックス間の連合外れ度を活用した検出力の向上を実現する。

ABSTRACT

Functional data analysis can be seriously impaired by abnormal observations, which can be classified as either magnitude or shape outliers based on their way of deviating from the bulk of data. Identifying magnitude outliers is relatively easy, while detecting shape outliers is much more challenging. We propose turning the shape outliers into magnitude outliers through data transformation and detecting them using the functional boxplot. Besides easing the detection procedure, applying several transformations sequentially provides a reasonable taxonomy for the flagged outliers. A joint functional ranking, which consists of several transformations, is also defined here. Simulation studies are carried out to evaluate the performance of the proposed method using different functional depth notions. Interesting results are obtained in several practical applications.

研究の動機と目的

• 従来の手法では困難である関数データにおける形状外れ値の検出という課題に対処すること。
• 既存の関数的デプス手法が、未知のデプス分布と解釈不能性のため、形状外れ値に対し苦労することを克服すること。
• 逐次的データ変換を通じて形状外れ値を検出可能な大きさ外れ値に変換するための体系的フレームワークを構築すること。
• 適用された変換の種別と順序に基づいた、グラフィカルで解釈可能な関数的外れ値分類を提供すること。
• 複数の関数的インデックスを組み合わせ、連合外れ度パターンを活用することで、ロバスト性と検出力を向上させること。

提案手法

• 一次差分、微分、平均中心化などの一連のデータ変換を適用し、形状外れ値を大きさ外れ値に変換する。
• 変換されたデータにおける大きさ外れ値を、修正バンドデプスまたは他のデプス概念を用いて関数的ボックスプロットで検出する。
• 複数の変換を用いた関数的ランクの連合構築により、異なる視点で外れ値を示す曲線を同定する。
• 変換済みデータを用いたグローバルエナメルテストを採用し、関数的逸脱の多様なタイプに対する感度を向上させる。
• $L^{\backslash infty}$ デプスおよび極端なランク長デプスを用いて、変換済み曲線における中心領域を定義し、外れ値を検出する。
• 複数の関数的インデックスからの周辺外れ度を組み合わせることで、個々の成分では見えない連合異常を検出する。

実験結果

リサーチクエスチョン

• RQ1 関数的データにおける形状外れ値を、検出可能性を向上させるために体系的に大きさ外れ値に変換できるか？
• RQ2 逐次的変換は、関数的外れ値の解釈可能性と分類性をどのように向上させるか？
• RQ3 提案手法は、単一の関数的インデックスでは外れ値でないが、複合的な外れ値としての特性を示す関数的外れ値を検出できるか？
• RQ4 複数の変換と関数的ボックスプロットの組み合わせは、単変量または周辺的手法と比較して、検出力をどのように向上させるか？
• RQ5 データ変換は、多様な代替仮説に対してグローバルエナメルテストの性能をどの程度強化するか？

主な発見

• 一次差分または平均中心化を用いることで、異常な勾配やジャンプを示す形状外れ値（例：温度曲線）が、大きさ外れ値に効果的に変換される。
• 温度と降水量曲線の両方で連合外れ度が観察される外れ値は、個別に各インデックスを分析した場合に比べて、しばしば見逃される。
• 温暖化傾向が強く、年間変動が小さいため、形状外れ値を示す気温曲線を示すカナリア諸島の気象観測所は、対数降水量曲線の情報と組み合わせることで初めて検出された。
• 単一インデックスでは大きさ外れ値でないが、5件の連合外れ値が同定され、複雑な相互作用に基づく異常であることが示された。
• 変換 $\mathcal{T}_0$、$\mathcal{T}_1$、および $\mathcal{T}_2$ の組み合わせにより、シミュレーションおよび実データ応用の両方で、実用的な関数的外れ値の大部分が効果的に捉えられた。
• 変換に基づく診断を用いることで、グローバルエナメルテストの感度が、より広範な関数的逸脱のタイプにまで拡張され、性能が向上した。