[論文レビュー] Privacy-Preserving Multi-Document Summarization

Luís Marujo, José Portêlo+7 more|arXiv (Cornell University)|Aug 6, 2015

Topic Modeling参考文献 18被引用数 9

ひとこと要約

本稿では、第三者による要約処理中に機密ドキュメント内容を保護するため、プライバシー保護型抽出的マルチドキュメント要約手法を提案する。Secure Binary Embeddings (SBE) を用いて、元のドキュメント表現を近似的な距離を保持するように変換された難読化されたビットストリングに変換することで、元のデータを露呈させることなく正確な要約が可能となる。高いプライバシー漏洩設定下でも準最先端の ROUGE スコアを達成している。

ABSTRACT

State-of-the-art extractive multi-document summarization systems are usually designed without any concern about privacy issues, meaning that all documents are open to third parties. In this paper we propose a privacy-preserving approach to multi-document summarization. Our approach enables other parties to obtain summaries without learning anything else about the original documents' content. We use a hashing scheme known as Secure Binary Embeddings to convert documents representation containing key phrases and bag-of-words into bit strings, allowing the computation of approximate distances, instead of exact ones. Our experiments indicate that our system yields similar results to its non-private counterpart on standard multi-document evaluation datasets.

研究の動機と目的

• 第三者に処理を依頼する際の機密ドキュメント共有に伴うプライバシーリスクを軽減すること。
• 第三者要約システムが元のドキュメント内容にアクセスせずに正確な要約を生成できるようにすること。
• 安全で微分的プライバシーを保証する埋め込みを用いて、データプライバシーを保持しつつ高い要約品質を実現する手法を開発すること。
• 実世界の要約設定において、プライバシー漏洩と要約性能のトレードオフを評価すること。

提案手法

• 本手法は、局所性に敏感なハッシュ技術である Secure Binary Embeddings (SBE) を用い、bag-of-words およびキーフレーズ表現を難読化されたビットストリングに変換する。
• SBE はランダムプロジェクションを適用した後、バンド化量子化を施して、元のベクトル間の近似的な距離を保持するビットベクトルを生成する。
• SBE 符号化されたベクトル間の近似的なユークリッド距離を計算することで、Waterfall KP-Centrality 要約アルゴリズムを支援する。
• 本手法は情報理論的セキュリティを確保し、ビットストリングから元のデータの再構築が不可能であることを保証する。
• 本手法は、生のコンテンツを信頼できない第三者に露呈させることなく、難読化された表現のみを用いて要約を実行できる。
• 性能評価は、標準ベンチマーク（TAC 2009 および DUC 2007）を用い、ROUGE-1 を指標とし、プライバシーと正確性の両立を最適化するパラメータを調整する。

実験結果

リサーチクエスチョン

• RQ1 要約品質を損なうことなくプライバシーを保護できるマルチドキュメント要約システムを設計可能か？
• RQ2 難読化された表現のみを用いる場合、SBE の使用が要約性能にどの程度影響を与えるか？
• RQ3 プライバシー漏洩のレベル（Δ で制御）を変化させた場合、生成された要約の品質にどのような影響があるか？
• RQ4 SBE の1係数あたりのビット数（bpc）を変化させると、要約精度に顕著な影響を与えるか？
• RQ5 SBE を用いた難読化により、準最先端の性能を維持しつつ、安全な第三者要約処理が可能になるか？

主な発見

• 95% の漏洩率と bpc=16 の条件下でも、TAC 2009 で ROUGE-1 スコア 0.491、DUC 2007 で 0.351 を達成しており、非プライベートベースラインと比較して劣化が最小限に抑えられている。
• 95% の漏洩率であっても、ハミング距離の大部分が元のユークリッド距離を近似的に再現しているため、強い要約性能を維持している。
• 漏洩パラメータ（Δ）を増加させることで要約結果が向上しており、より多くの距離情報を保持することで出力品質が向上することが示された。
• bpc を 4 から 16 に変化させても性能に顕著な差が認められず、本手法がこのパラメータに対して頑健であることが示された。
• アルゴリズムの各イテレーションで複数回の SBE ハッシュ計算が行われるが、依然として準最先端の性能を維持しており、実用的妥当性が裏付けられた。
• 本手法は情報理論的セキュリティを提供しており、難読化されたビットストリングから元のドキュメント内容が再構築不可能であることを保証している。