[논문 리뷰] On Memorization in Probabilistic Deep Generative Models

Gerrit J. J. van den Burg, Christopher K. I. Williams|arXiv (Cornell University)|2021. 06. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 63인용 수 12

한 줄 요약

이 논문은 지도 학습에서의 기억 측정 방법을 확률적 딥 생성 모델의 비지도 밀도 추정으로 확장하여, 기억 현상을 탐지하기 위한 계산적으로 효율적인 점수를 제안한다. 이는 변수 자동에코더와 같은 모델에서의 기억 현상이 모드 붕괴나 과적합과는 다름을 드러내며, 기존의 최근접 이웃 테스트로는 발견하지 못한 현상을 캡처한다.

ABSTRACT

Recent advances in deep generative models have led to impressive results in a variety of application domains. Motivated by the possibility that deep learning models might memorize part of the input data, there have been increased efforts to understand how memorization arises. In this work, we extend a recently proposed measure of memorization for supervised learning (Feldman, 2019) to the unsupervised density estimation problem and adapt it to be more computationally efficient. Next, we present a study that demonstrates how memorization can occur in probabilistic deep generative models such as variational autoencoders. This reveals that the form of memorization to which these models are susceptible differs fundamentally from mode collapse and overfitting. Furthermore, we show that the proposed memorization score measures a phenomenon that is not captured by commonly-used nearest neighbor tests. Finally, we discuss several strategies that can be used to limit memorization in practice. Our work thus provides a framework for understanding problematic memorization in probabilistic generative models.<br/>

연구 동기 및 목표

• 딥 생성 모델의 비지도 밀도 추정에 적합한 지도 학습 기반 기억 측정 방법을 적용한다.
• 확률적 생성 모델에서 기억 현상을 정량화하기 위한 계산적으로 효율적인 방법을 개발한다.
• 변수 자동에코더와 같은 모델에서 기억 현상이 과적합이나 모드 붕괴와 어떻게 다를 수 있는지 조사한다.
• 기존의 최근접 이웃 테스트가 본 연구에서 규명한 특정 형태의 기억 현상을 탐지하지 못함을 입증한다.
• 생성 모델링 응용에서 기억 현상을 제한하기 위한 실용적인 전략을 제안한다.

제안 방법

• 지도 학습을 위해 설계된 Feldman(2019)의 기억 측정 방법을 비지도 밀도 추정 설정으로 확장한다.
• 잠재 공간에서의 가능도 기반 추정을 활용하여 기억 점수를 계산적으로 효율적으로 재구성한다.
• 학습 데이터 포인트와 그들의 최근접 이웃 간의 가능도 비교를 통해 기억 현상을 탐지한다.
• 학습 샘플이 그들의 최근접 이웃보다 유의미하게 높은 가능도를 부여하는 정도를 수량화하는 정규화된 점수를 도입한다.
• 이 점수를 사용하여 변수 자동에코더에서 다양한 아키텍처와 학습 제도에서의 기억 현상을 평가한다.
• 정규화 및 데이터 증강 기법을 제안하여 기억 현상을 감소시키며, 추론 실험을 통해 검증한다.

실험 결과

연구 질문

• RQ1 확률적 딥 생성 모델에서 비지도 설정에서 기억 현상을 어떻게 측정할 수 있는가?
• RQ2 변수 자동에코더에서 기억 현상은 과적합과 모드 붕괴와 무엇이 다른가?
• RQ3 기존의 최근접 이웃 테스트가 생성 모델에서 관찰된 기억 현상의 특정 형태를 어느 정도 탐지하지 못하는가?
• RQ4 기억 현상에 가장 취약한 모델 아키텍처나 학습 절차는 무엇인가?
• RQ5 기본 모델링에서 기억 현상을 효과적으로 줄일 수 있는 실용적 조치는 무엇인가?

주요 결과

• 제안된 기억 점수는 모드 붕괴나 과적합과는 다름을 보이는 변수 자동에코더에서의 기억 현상을 성공적으로 탐지한다.
• 이러한 모델에서 기억 현상은 잠재 공간에서 학습 샘플이 그들의 최근접 이웃보다 유의미하게 높은 가능도를 부여하는 방식으로 특징지어진다.
• 기존의 최근접 이웃 테스트에서 유의미한 편차가 없더라도, 이 점수는 기억 현상 패턴을 식별할 수 있다.
• 기억 현상의 정도는 모델 용량과 학습 시간이 증가할수록 증가하며, 특히 학습 데이터에서 높은 가능도를 갖는 모델에서 두드러진다.
• 가중치 감소와 같은 정규화 기법 및 데이터 증강 기법은 생성 품질을 떨어뜨리지 않으면서도 기억 현상을 감소시킨다.
• 본 연구는 기억 현상이 비지도 생성 모델에서 측정 가능하고 분석 가능한 현상임을 입증하며, 모델 평가 시 고려할 만한 요소임을 보여준다.