[論文レビュー] HCMapper: An interactive visualization tool to compare partition-based flat clustering extracted from pairs of dendrograms

Gautier Marti, Philippe Donnat+2 more|arXiv (Cornell University)|Jul 29, 2015

Data Visualization and Analytics参考文献 25被引用数 4

ひとこと要約

HCMapper は、デンドログラムから得られる2つの階層的クラスタリングを、明示的なエッジ符号化を用いて不一致を強調するレイヤード構造として並べて表示することにより、対話的可視化ツールである。この手法により、仮説の違いに起因するクラスタの不一致、特に外れ値の迅速な検出が可能となる。ファイナンシャルタイムシリーズ解析の事例では、相関係数モデルと相関係数＋分布モデルの下で、わずか数個の資産が逸脱していることが示されている。

ABSTRACT

We describe a new visualization tool, dubbed HCMapper, that visually helps to compare a pair of dendrograms computed on the same dataset by displaying multiscale partition-based layered structures. The dendrograms are obtained by hierarchical clustering techniques whose output reflects some hypothesis on the data and HCMapper is specifically designed to grasp at first glance both whether the two compared hypotheses broadly agree and the data points on which they do not concur. Leveraging juxtaposition and explicit encodings, HCMapper focus on two selected partitions while displaying coarser ones in context areas for understanding multiscale structure and eventually switching the selected partitions. HCMapper utility is shown through the example of testing whether the prices of credit default swap financial time series only undergo correlation. This use case is detailed in the supplementary material as well as experiments with code on toy-datasets for reproducible research. HCMapper is currently released as a visualization tool on the DataGrapple time series and clustering analysis platorm at www.datagrapple.com.

研究の動機と目的

• 同じデータセットから得られる2つの階層的クラスタリングを視覚的に比較する課題、特にデータ構造に関する仮説が異なる場合の対処。
• 2つのクラスタリングモデルの不一致箇所、特に個々のデータポイントまたはクラスタのレベルで明確に可視化できる直感的で対話的なツールを実践者に提供すること。
• 対照表示、明示的なエッジ符号化、フォーカス＋コンテキスト可視化を組み合わせることで、階層的クラスタリング結果の解釈性を向上させること。
• 相関係数とその他の要因（例：分布）の違いが重要な分野、例えば定量的ファイナンスにおいて、モデルの妥当性を検証する支援。
• クラスタリングにおける特異点や外れ値を検出可能にすることで、流動性不足や重たい尾部リターンなどの特殊なデータ行動を示唆する。

提案手法

• HCMapper は2つのデンドログラムを、複数スケールでのクラスタを表現するレイヤードパーティション構造に変換する。
• 2つの選択されたパーティションを横並びに表示するための対照的レイアウトを用い、粗いパーティションはスケール理解のためのコンテキスト領域に表示される。
• 2つのパーティション間のクラスタ割り当ての不一致を明示的な発散エッジで符号化し、不一致してクラスタリングされているデータポイントを視覚的に強調する。
• マッチングされていないデータポイント（例：特定の金融資産）の識別をツールチップにより対話的に表示可能にしている。
• 対照表示、明示的符号化、フォーカス＋コンテキストのハイブリッド可視化戦略を統合し、階層的構造の差異の解釈性を向上させる。
• 実装は DataGrapple プラットフォームに統合されており、実際のファイナンシャルタイムシリーズを用いたコードとユースケースを提供し、再現可能性のある研究を支援している。

実験結果

リサーチクエスチョン

• RQ1 同じデータセットから得られる2つの階層的クラスタリングを、データ構造に関する仮説が異なる場合に、実践者がどのように効果的に比較できるか？
• RQ2 パーティションベースのクラスタリング同士の不一致を、直感的かつスケーラブルに可視化するための最良の視覚的デザインパターンは何か？
• RQ3 レイヤードで横並びに配置されたレイアウトにおいて、明示的なエッジ符号化が、2つのモデル間で一貫性のないクラスタリングが行われる外れ値データポイントの検出をどのように向上させるか？
• RQ4 このような可視化ツールが、相関係数と分布に関する仮定が重要な分野、例えば定量的ファイナンスにおいて、モデル妥当性の検証をどの程度支援できるか？
• RQ5 tanglegrams と比較して、HCMapper は階層的クラスタリング間の構造的乖離をどのように優れて明らかにできるか？

主な発見

• HCMapper は、相関係数のみのモデルにおける「アメリカ」クラスタと、相関係数＋分布モデルにおける赤色クラスタを結ぶ、わずか1つの不一致エッジを明確に強調しており、これは外れ値の可能性を示唆している。
• この不一致エッジは、リオテーティンとエーアイティ（AT&T）という2つの米国企業を含み、これらは高品質なヨーロッパ政府債と同様の特徴（流動性不足や重たい尾部リターン分布）を示していると解釈できる。
• 可視化により、2つの仮説間で大部分のクラスタが1対1対応していることが明らかになり、価格タイムシリーズのクラスタリングにおいて相関係数が主要因であることが示された。
• tanglegrams と比較して、HCMapper は構造的乖離を識別する際に、補足資料および図4に示すように、より解釈可能で迅速なアプローチを提供している。
• このツールの時間計算量は O(n²log n + V³) であり、中程度のサイズのデータセットには適しているが、非常に大きなデータセットや高複雑度の視覚的グラフにはスケーラビリティに限界がある。
• HCMapper は DataGrapple プラットフォーム上で公開されており、オープンソースのコードとユースケースを提供しており、ファイナンスおよび生物学的クラスタリング応用分野における再現可能性のある研究を支援している。