[논문 리뷰] Approximate Newton-based statistical inference using only stochastic gradients

Tianyang Li, Anastasios Kyrillidis외 2명|arXiv (Cornell University)|2018. 05. 23.

Adversarial Robustness in Machine Learning참고 문헌 53인용 수 4

한 줄 요약

이 논문은 유한 차분을 통해 스트로스틱 그래디언트만을 사용하여 헤시안-벡터 곱을 근사함으로써 대규모 M-추정과 고차원 회귀에 대한 새로운 통계적 추론 프레임워크를 제안한다. 이는 정확한 헤시안 행렬이나 재표본 추출 없이도 효율적이고 일致된 신뢰구간과 p-값 계산을 가능하게 하며, 비i.i.d. 시계열 및 신경망의 악성 공격 탐지에까지 확장 가능하다.

ABSTRACT

We present a novel statistical inference framework for convex empirical risk minimization, using approximate stochastic Newton steps. The proposed algorithm is based on the notion of finite differences and allows the approximation of a Hessian-vector product from first-order information. In theory, our method efficiently computes the statistical error covariance in $M$-estimation, both for unregularized convex learning problems and high-dimensional LASSO regression, without using exact second order information, or resampling the entire data set. We also present a stochastic gradient sampling scheme for statistical inference in non-i.i.d. time series analysis, where we sample contiguous blocks of indices. In practice, we demonstrate the effectiveness of our framework on large-scale machine learning problems, that go even beyond convexity: as a highlight, our work can be used to detect certain adversarial attacks on neural networks.

연구 동기 및 목표

• 대규모 M-추정과 고차원 회귀에서 정확한 헤시안 행렬 계산의 계산 불가능성 해결.
• 일阶 정보와 유한 차분만을 사용하여 통계적 오차 공분산과 신뢰구간을 계산하는 방법 개발.
• 연속된 블록을 샘플링하여 비i.i.i.d. 시계열에서 정확한 헤시안 계산 없이도 일致되고 효율적이며 재표본 추출 기반이 아닌 통계적 추론 실현.
• 볼록성의 범위를 초월하여 신경망에서 악성 공격를 탐지할 수 있도록 프레임워크 확장.
• 부트스트랩 및 기존의 디바이어어징 방법에 대한 증명 가능하고 계산 효율적인 대안 제공, 고차원 설정에서의 일관된 추정

제안 방법

• 유한 차분을 이용해 헤시안-벡터 곱 근사: ∇²f(θ)v ≈ [∇f(θ+δv)−∇f(θ)]/δ, 스트로스틱 그래디언트에 의존.
• 이 근사를 스트로스틱 뉴턴 유사 알고리즘에 통합하여 전체 헤시안 저장 및 계산을 피함.
• 비i.i.d. 시계열을 위해 연속된 색인 블록을 샘플링하는 블록 샘플링 기법 도입하여 시간적 의존성 유지.
• 정규화되지 않은 M-추정과 고차원 LASSO의 프록시멀 뉴턴 단계에 이 방법 적용, 높은 확률로 강한 볼록성 확보.
• 통계적 오차 공분산을 위한 플러그인 추정량 Ĥ⁻¹ĜĤ⁻¹ 사용, 근사 뉴턴 단계를 통해 계산.
• 신경망 분석에 이 프레임워크 통합하여 손실 곡면의 비정상적인 곡률 패턴을 식별함으로써 악성 예측 예제 탐지

실험 결과

연구 질문

• RQ1 정확한 헤시안 행렬이나 재표본 추출 없이도 대규모 M-추정에서 효율적인 통계적 추론이 가능할 수 있는가?
• RQ2 고차원 설정에서 통계적 추론을 위해 스트로스틱 그래디언트의 유한 차분이 헤시안-벡터 곱을 신뢰성 있게 근사할 수 있는가?
• RQ3 i.i.d. 샘플링이나 전체 공분산 추정을 가정하지 않고도 비i.i.d. 시계열에 대한 통계적 추론을 어떻게 적응시킬 수 있는가?
• RQ4 제안된 프레임워크는 곡률 분석을 통해 딥 신경망에서 악성 예측 예제를 탐지할 수 있는가?
• RQ5 제안된 방법은 기존 방법에 비해 수렴 속도 향상으로 인해 고차원 LASSO에서 신뢰구간과 p-값의 일관된 추정을 달성하는가?

주요 결과

• 정규화되지 않은 M-추정에서, 이 방법은 1000차원 희박 문제에서 평균 신뢰구간 길이 0.14, 커버리지 0.83를 기록하며 통계적 오차 공분산에 대해 일관된 추정을 달성한다.
• 고차원 LASSO 회귀에서, 이 방법은 강한 볼록 최적화 문제를 생성하여 선형 수렴 속도를 확보하고 최적화 오차 제어를 기존 최고 수준의 방법보다 향상시킨다.
• 비i.i.d. 시계열에서 블록 샘플링 접근법은 95% 신뢰구간 커버리지 0.929와 평균 길이 0.145를 기록하여 이론적 예측을 검증한다.
• 이 방법은 손실 곡면의 비정상적인 곡률 패턴을 식별함으로써 신경망에서 악성 공격를 성공적으로 탐지한다.
• HIV 약물 내성 데이터셋에서, 이 방법은 5% 가족-wise 오류율에서 알려진 내성 돌연변이를 탐지하여 생물학적 관련성을 확인한다.
• 리보플라빈 생산 데이터셋에서, 이 방법은 이전 연구보다 더 보수적인 결과를 보이며 FWER=0.05일 때 유의미한 유전자를 발견하지 못했으며, 최근의 다른 연구들과 일치한다.