[논문 리뷰] Phase space sampling and operator confidence with generative adversarial networks

Kyle Mills, Isaac Tamblyn|arXiv (Cornell University)|2017. 10. 23.

Seismic Imaging and Inversion Techniques인용 수 5

한 줄 요약

이 논문은 통계역학 시스템의 위상공간을 샘플링하고 동시에 에너지, 자화도와 같은 연산자 값(예: 에너지, 자화도)과 신뢰도를 추정하기 위해 생성적 적대적 네트워크(GAN)를 사용하는 방법을 제안한다. 판별기의 훈련을 실수/가짜 레이블과 연산자 값을 동시에 예측하도록 하여, 모델은 이상치 탐지기 역할을 하며, 분포 내 샘플에 대해서는 높은 신뢰도, 분포 외 또는 낯선 구성에 대해서는 낮은 신뢰도를 출력한다.

ABSTRACT

We demonstrate that a generative adversarial network can be trained to produce Ising model configurations in distinct regions of phase space. In training a generative adversarial network, the discriminator neural network becomes very good a discerning examples from the training set and examples from the testing set. We demonstrate that this ability can be used as an anomaly detector, producing estimations of operator values along with a confidence in the prediction.

연구 동기 및 목표

• 복잡한 시스템(예: 이징 모형)에서 기존 분포에 대한 사전 지식 없이 효율적인 위상공간 샘플링 방법을 개발하기 위해.
• 분자 동역학 및 몬테카를로 시뮬레이션에서 사용되는 기계학습된 잠재에너지의 예측 신뢰도에 대한 핵심적인 필요성을 해결하기 위해.
• 시뮬레이션 중에 물리적으로 타당하지 않거나 분포 외의 구성으로 이격된 상태를 조기에 탐지하기 위해 판별기의 신뢰도 출력을 활용하기 위해.
• 훈련된 판별기가 생성된 샘플과 실제 샘플을 구분하는 것 외에도 연산자 값을 회귀하고 불확실성 추정을 수행할 수 있음을 보여주기 위해.
• 시뮬레이션이 익숙하지 않은 위상공간 영역으로 진입할 때 이를 식별하고 간섭하거나 재훈련할 수 있는 실용적인 프레임워크를 제공하기 위해.

제안 방법

• 이징 모형의 구성 샘플을 생성하는 생성기와 실제 훈련 샘플과 생성된 샘플을 구분하는 판별기를 갖춘 생성적 적대적 네트워크(GAN)를 훈련한다.
• 훈련 중에 판별기에 보조 헤드를 추가하여 에너지, 자화도와 같은 연산자 값을 예측하도록 하여, 분류와 회귀를 동시에 수행할 수 있도록 한다.
• 판별기의 출력을 연산자 예측의 신뢰도 추정치로 사용하며, 높은 출력 크기는 높은 신뢰도를 의미한다.
• 훈련 데이터의 에너지 범위 전체에 걸쳐 균일 분포를 적용하여 판별기가 분포 외 구성의 탐지 능력을 테스트한다.
• 훈련 데이터에 포함되지 않은 영역에서 특히 유용한 예측 신뢰도의 대체 지표로 판별기의 신뢰도 점수를 활용한다.
• 훈련된 생성기를 사용하여 목표 위상공간 분포에서 새로운 구성 샘플을 추출하여, 복잡한 시스템의 효율적 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이징 모형의 위상공간 구성 샘플을 다양한 열역학적 영역에서 GAN이 효과적으로 샘플링할 수 있는가?
• RQ2 GAN의 판별기가 실수/가짜 샘플을 구분하는 동시에 연산자 값(예: 에너지, 자화도)을 예측할 수 있는가?
• RQ3 판별기의 출력 크기가 훈련 분포 외 영역에서 예측 신뢰도와 관련이 있는가?
• RQ4 훈련 다각형의 다양성에서 벗어난 구성은 판별기의 출력을 통해 이상치 탐지가 가능한가?
• RQ5 판별기의 신뢰도 추정치가 물리적으로 타당하지 않거나 분포 외 상태를 탐지함으로써 시뮬레이션의 안전성을 어느 정도 향상시킬 수 있는가?

주요 결과

• 훈련 데이터에 포함된 분포 내 샘플에 대해 판별기가 높은 정확도로 연산자 값(예: 에너지)을 예측함을 보여주며, 히스토GRAM에서 예측값과 진짜 값 간의 강한 일치가 관찰된다.
• 훈련 분포 내 구성에 대해 판별기는 높은 신뢰도를 출력하여 데이터가 존재하는 영역에서 신뢰할 수 있는 예측을 함을 나타낸다.
• 훈련 데이터가 없는 영역의 구성에 대해 판별기는 낮은 신뢰도를 출력하여 분포 외 또는 새로운 구성의 효과적인 탐지가 가능함을 보여준다.
• 신뢰도 추정 기능 덕분에 시스템의 이격이나 훈련 다각형의 외부로의 외삽으로 인한 물리적으로 타당하지 않은 상태를 조기에 탐지할 수 있다.
• GAN 기반 샘플링과 판별기의 불확실성 추정을 통합함으로써, 신뢰도 인식 시뮬레이션을 위한 실용적인 종단 간 솔루션을 제공한다.
• GAN이 생성 기능 외에도 물리적 시스템에서 신뢰도 인식 회귀에 효과적으로 활용될 수 있음을 보여준다.