[論文レビュー] Another Use of SMOTE for Interpretable Data Collaboration Analysis

Akira Imakura, Masateru Kihira+2 more|arXiv (Cornell University)|Aug 26, 2022

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、プライバシー保護型データ協働（DC）分析における解釈可能性を高めるために、新しいSMOTEベースのアンカーデータ構築手法を提案する。この手法は、データ漏洩のリスクを増大させることなく認識性能を向上させる。従来の手法と比較して、収入データセットにおいて分類精度を9ポイント向上させ、重要特徴選択性能を38ポイント向上させた。

ABSTRACT

Recently, data collaboration (DC) analysis has been developed for privacy-preserving integrated analysis across multiple institutions. DC analysis centralizes individually constructed dimensionality-reduced intermediate representations and realizes integrated analysis via collaboration representations without sharing the original data. To construct the collaboration representations, each institution generates and shares a shareable anchor dataset and centralizes its intermediate representation. Although, random anchor dataset functions well for DC analysis in general, using an anchor dataset whose distribution is close to that of the raw dataset is expected to improve the recognition performance, particularly for the interpretable DC analysis. Based on an extension of the synthetic minority over-sampling technique (SMOTE), this study proposes an anchor data construction technique to improve the recognition performance without increasing the risk of data leakage. Numerical results demonstrate the efficiency of the proposed SMOTE-based method over the existing anchor data constructions for artificial and real-world datasets. Specifically, the proposed method achieves 9 percentage point and 38 percentage point performance improvements regarding accuracy and essential feature selection, respectively, over existing methods for an income dataset. The proposed method provides another use of SMOTE not for imbalanced data classifications but for a key technology of privacy-preserving integrated analysis.

研究の動機と目的

• 最適でないアンカーデータによる解釈可能なデータ協働（DC）分析における認識性能の低さという課題に対処すること。
• 複数機関間のプライバシー保護型統合分析における性能を向上させることで、データ漏洩リスクを増大させずに実現すること。
• SMOTEの新しい応用を検討すること。具体的には、不均衡分類を越えて、フェデレーテッドスタイルのデータ協働における代表的アンカーデータセットの構築に応用すること。
• 合成データ拡張を用いて、DCフレームワークにおけるモデルの精度と解釈可能性を両立させる手法を開発すること。

提案手法

• 合成少数過剰化技術（SMOTE）を拡張し、生データの分布に適合するアンカーデータを生成することで、DC表現品質を向上させる。
• k近傍法に大きなk（k=50）を適用し、元のデータ多様体の外側への外挿を可能にすることで、合成サンプルの多様性とカバー範囲を向上させる。
• 合成サンプル生成時に特徴ベクトルをスケーリングするため、大きなα=1.5を適用し、より代表的で頑健なアンカーデータを促進する。
• SMOTEで生成されたアンカーデータをDCフレームワークに統合し、次元削減された中間表現から協働表現を構築する。
• リッジ回帰と決定木を下流分析に用い、協働表現上の特徴選択により解釈可能性を維持する。
• 固定ハイパーパrameter（例：r=2500アンカーポイント、15次元の中間表現）を用いた5分割交差検証設定により、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 SMOTEを、プライバシーを損なうことなく、データ協働分析におけるアンカーデータの品質を向上させるために再利用可能か？
• RQ2 SMOTEベースのアンカーデータ構築手法は、ランダム法やTSVDベースの手法と比較して、認識精度と特徴選択性能においてどのように差がつくか？
• RQ3 大きなkとαを用いてSMOTEを外挿を可能にするように拡張することで、DC分析の結果に測定可能な改善がもたらされるか？
• RQ4 提案手法は、データ機密性を維持しつつ、どの程度データ協働における解釈可能性を向上させるか？

主な発見

• 提案手法は、収入データセットにおいて、ベースライン手法と比較して分類精度が9ポイント向上した。
• 同じ収入データセットにおいて、重要特徴選択性能が38ポイント向上し、解釈可能性の強化を示している。
• Prostate_GEデータセットでは、DC(TSVD)の精度が31.00%から58.00%に上昇し、実世界のデータにおいても一貫した向上を示した。
• 提案手法は、バイナリ分類およびマルチクラス分類の両方を含む10の評価データセットすべてにおいて、ローカルおよび中央集権ベースラインを上回った。
• SMOTE拡張における大きなkとαの使用が、性能向上に不可欠であり、特に元のサンプル範囲を超えたデータ分布の捉え込みに寄与した。
• 直接的なデータ共有を避けることで、プライバシーを維持しており、評価フレームワーク内にデータ漏洩の兆候は認められなかった。