[논문 리뷰] PANDA: AdaPtive Noisy Data Augmentation for Regularization of Undirected Graphical Models

Yinan Li, Xiao Liu외 1명|arXiv (Cornell University)|2018. 10. 11.

Statistical Methods and Inference참고 문헌 55인용 수 5

한 줄 요약

이 논문은 PANDA를 소개한다. PANDA는 반복적으로 노이즈가 첨가된 목적 함수를 최적화함으로써 비방향 그래픽 모델을 정규화하는 새로운 적응형 노이즈 데이터 증강 기법이다. PANDA는 라소, 리지, 엘라스틱넷, 그룹 라소 등 다양한 정규화 효과를 달성하면서도, 유도된 표본 분포를 통해 정규화된 파라미터에 대한 타당한 점근적 추론을 가능하게 한다.

ABSTRACT

We propose an AdaPtive Noise Augmentation (PANDA) technique to regularize the estimation and construction of undirected graphical models. PANDA iteratively optimizes the objective function given the noise augmented data until convergence to achieve regularization on model parameters. The augmented noises can be designed to achieve various regularization effects on graph estimation, such as the bridge (including lasso and ridge), elastic net, adaptive lasso, and SCAD penalization; it also realizes the group lasso and fused ridge. We examine the tail bound of the noise-augmented loss function and establish that the noise-augmented loss function and its minimizer converge almost surely to the expected penalized loss function and its minimizer, respectively. We derive the asymptotic distributions for the regularized parameters through PANDA in generalized linear models, based on which, inferences for the parameters can be obtained simultaneously with variable selection. We show the non-inferior performance of PANDA in constructing graphs of different types in simulation studies and apply PANDA to an autism spectrum disorder data to construct a mixed-node graph. We also show that the inferences based on the asymptotic distribution of regularized parameter estimates via PANDA achieve nominal or near-nominal coverage and are far more efficient, compared to some existing post-selection procedures. Computationally, PANDA can be easily programmed in software that implements (GLMs) without resorting to complicated optimization techniques.

연구 동기 및 목표

• 비방향 그래픽 모델(UGMs)을 위한 정규화 방법을 개발하여 변수 선택과 타당한 통계적 추론을 동시에 가능하게 한다.
• 모델 불확실성으로 인해 전통적 방법이 실패하는 고차원 UGM에서의 선택 후 추론 문제를 해결한다.
• 반복 최적화 과정에서 파라미터 추정치에 적응적으로 조정되는 노이즈 증강 기법을 설계하여 다수의 정규화 효과를 달성한다.
• 정규화된 파라미터 추정치의 수렴성과 점근 정규성에 대한 이론적 보장을 확립한다.
• 일반선형모형(GLMs)의 복잡한 최적화 절차를 대체할 수 있는 계산적으로 단순한 대안을 제공한다.

제안 방법

• PANDA는 각 반복 단계에서 데이터에 파라미터에 적응적인 방식으로 추가 노이즈를 주입함으로써 노이즈가 첨가된 손실 함수를 반복적으로 최적화한다.
• 노이즈 분포는 현재의 파라미터 추정치에 따라 노이즈 분산을 조정함으로써 브릿지, 엘라스틱넷, 적응형 라소, SCAD 등의 특정 정규화 페널티를 유도하도록 설계된다.
• 노이즈 주입과 정규화된 우도 추정 간의 등가성을 활용하며, 노이즈 분산은 현재 파라미터 크기의 역수에 비례한다.
• 손실 함수의 이阶 테일러 전개와 슬러츠테오럼을 이용하여 정규화된 파라미터 추정치의 점근 정규성을 도출한다.
• 확장된 피셔 정보 행렬을 사용하여 표준 오차를 추정함으로써 타당한 신뢰구간과 가설검정을 가능하게 한다.
• 유한한 반복 수에 대해서는 내부 반복 및 반복 간 분산 성분을 통합하여 다중 추정치 간 변동성을 고려한다.

실험 결과

연구 질문

• RQ1 비방향 그래픽 모델에서 다양한 정규화 페널티를 유도하기 위해 데이터 증강 시 노이즈 주입을 체계적으로 설계할 수 있는가?
• RQ2 노이즈가 첨가된 목적 함수의 반복 최적화가 정규화된 우도 추정기와 동치인 해에 수렴하는가?
• RQ3 선택 후 변수 선택이 이루어진 후에도 노이즈 증강을 통해 정규화된 파라미터에 대해 타당한 점근적 추론을 도출할 수 있는가?
• RQ4 커버리지와 효율성 측면에서 PANDA는 기존의 선택 후 추론 절차와 비교해 어떻게 성능을 발휘하는가?
• RQ5 PANDA는 특수한 최적화 알고리즘 없이도 표준 GLM 소프트웨어에서 효율적으로 구현 가능한가?

주요 결과

• PANDA의 노이즈가 첨가된 손실 함수와 그 최소화자(최적화 해)는 온건한 정규성 조건 하에 기대 정규화된 손실 함수와 그 최소화자로 거의 확실히 수렴한다.
• PANDA를 통해 정규화된 파라미터 추정치의 점근 분포를 도출하였으며, 진정한 모형 하에서 이론적 표본 분포와 일치하는 것으로 확인되었다.
• PANDA 기반 추론은 명목상 또는 근접한 명목 커버리지를 달성하며, 기존의 선택 후 절차에 비해 효율성이 뛰어나다.
• 시뮬레이션 연구를 통해 PANDA가 에지 복구 및 구조 추정 측면에서 희박성, 스케일프리, 스몰월드 등 다양한 그래프 유형에서 열등하지 않은 성능을 보였다.
• PANDA는 자폐 스펙트럼 장애(ASD) 데이터로부터 연속형 및 이진형 변수를 모두 포함하는 혼합 노드 그래프를 성공적으로 구축하였으며, 적절한 정규화를 수행하였다.
• 이 방법은 계산적으로 효율적이며, 복잡한 최적화 절차나 맞춤형 솔버 없이도 표준 GLM 소프트웨어에서 쉽게 구현 가능하다.