[論文レビュー] On Memorization in Probabilistic Deep Generative Models

Gerrit J. J. van den Burg, Christopher K. I. Williams|arXiv (Cornell University)|Jun 6, 2021

Generative Adversarial Networks and Image Synthesis参考文献 63被引用数 12

ひとこと要約

この論文は、教師あり学習における記憶測定法を、確率的深層生成モデルにおける教師なし密度推定に拡張し、計算的に効率的な記憶検出スコアを提案する。記憶化が変分オートエンコーダーのようなモデルで、モード崩壊や過学習とは異なるものであることが明らかになり、従来の近隣探索テストでは捉えきれない現象をスコアが捉えている。

ABSTRACT

Recent advances in deep generative models have led to impressive results in a variety of application domains. Motivated by the possibility that deep learning models might memorize part of the input data, there have been increased efforts to understand how memorization arises. In this work, we extend a recently proposed measure of memorization for supervised learning (Feldman, 2019) to the unsupervised density estimation problem and adapt it to be more computationally efficient. Next, we present a study that demonstrates how memorization can occur in probabilistic deep generative models such as variational autoencoders. This reveals that the form of memorization to which these models are susceptible differs fundamentally from mode collapse and overfitting. Furthermore, we show that the proposed memorization score measures a phenomenon that is not captured by commonly-used nearest neighbor tests. Finally, we discuss several strategies that can be used to limit memorization in practice. Our work thus provides a framework for understanding problematic memorization in probabilistic generative models.<br/>

研究の動機と目的

• 教師あり学習における記憶測定法を、深層生成モデルにおける教師なし密度推定に適応すること。
• 確率的生成モデルにおける記憶の度合いを測定する計算的に効率的な手法を開発すること。
• 変分オートエンコーダーのようなモデルにおける記憶の発生メカニズムを、従来の過学習やモード崩壊とは異なる観点から調査すること。
• 従来の近隣探索テストが、本研究で特定した特定の記憶形態を検出できないことを示すこと。
• 生成モデルの応用において記憶化を制限する実用的な戦略を提案すること。

提案手法

• 教師あり学習を想定した Feldman (2019) の記憶測定法を、密度推定の教師なし設定に適応する。
• 潜在空間における尤度推定を活用することで、記憶スコアを計算的に効率化する形に再定式化する。
• 訓練データポイントとその近隣点の尤度を比較して記憶化を検出する。
• 訓練サンプルがその近隣点よりも顕著に高い尤度を割り当てる程度を定量化する正規化スコアを導入する。
• このスコアを用いて、変分オートエンコーダーにおけるさまざまなアーキテクチャや学習設定での記憶化を評価する。
• ドロップアウトやデータ拡張を含む正則化手法を提案し、アブレーションスタディによって有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的深層生成モデルにおける記憶化は、教師なし設定でどのように測定できるか？
• RQ2 変分オートエンコーダーにおいて、記憶化は過学習やモード崩壊とどのように異なるか？
• RQ3 標準的な近隣探索テストは、生成モデルで観察される記憶化の特定の形をどの程度検出できないか？
• RQ4 どのモデルアーキテクチャや学習手順が記憶化に対して最も感受性を示すか？
• RQ5 生成モデルにおける記憶化を効果的に低減する実用的介入策は何か？

主な発見

• 提案された記憶スコアは、モード崩壊や過学習とは異なる形の記憶化を、変分オートエンコーダーで効果的に検出できた。
• これらのモデルにおける記憶化は、潜在空間における近隣点よりも訓練サンプルに対して顕著に高い尤度を割り当てるという特徴を持つ。
• 標準的な近隣探索テストでは顕著な乖離が示されない状況でも、このスコアは記憶化のパターンを同定できた。
• 記憶化の度合いはモデル容量や学習時間に伴い増加し、特に訓練データに対する尤度が高いモデルで顕著に現れた。
• 重み減衰やデータ拡張といった正則化手法は、生成品質を損なわせることなく記憶化を低減した。
• 本研究は、教師なし生成モデルにおける記憶化が測定可能で分析可能であることを示し、モデル評価において注目すべき現象であると結論づけた。