[논문 리뷰] Robust Training in High Dimensions via Block Coordinate Geometric Median Descent

Anish Acharya, Abolfazl Hashemi외 4명|arXiv (Cornell University)|2021. 06. 16.

Stochastic Gradient Optimization Techniques참고 문헌 98인용 수 7

한 줄 요약

이 논문은 극단적인 오염에 견디는 고차원 비凸 문제를 위한 계산적으로 효율적인 강건 최적화 방법인 블록좌표 기하중앙강하법(BGmD)을 제안한다. 메모리 기반 기법을 사용해 선택된 좌표 블록에만 기하중앙 집계를 적용함으로써 BGmD는 0.5의 붕괴점과 near-optimal 수렴 속도를 달성하여, 표준 기하중앙 SGD 대비 최대 90%의 속도 향상을 이룩함으로써 딥러닝에서 강건한 학습을 가능하게 한다.

ABSTRACT

Geometric median ( extsc{Gm}) is a classical method in statistics for achieving a robust estimation of the uncorrupted data; under gross corruption, it achieves the optimal breakdown point of 0.5. However, its computational complexity makes it infeasible for robustifying stochastic gradient descent (SGD) for high-dimensional optimization problems. In this paper, we show that by applying extsc{Gm} to only a judiciously chosen block of coordinates at a time and using a memory mechanism, one can retain the breakdown point of 0.5 for smooth non-convex problems, with non-asymptotic convergence rates comparable to the SGD with extsc{Gm}.

연구 동기 및 목표

• 고차원 딥러닝 환경에서 기하중앙 기반 강건한 SGD(GmD)의 계산 비용이 지나치게 높아지는 문제를 해결하기 위해.
• 극심한 오염 상황에서도 최적의 붕괴점 0.5를 유지하면서 계산 비용을 줄이기 위해.
• 악성 샘플에 대한 사전 지식 없이도 임의로 오염된 기울기들에 강건한 확장 가능한 1차 최적화 방법을 설계하기 위해.
• 전체 GmD와 유사한 수렴 속도를 달성하면서도 좌표 선택을 통해 저차원 부분공간에서 작동함으로써 수렴 속도를 유사하게 유지하기 위해.

제안 방법

• BGmD는 방향 도함수의 제곱 ℓ₂ 노름을 기반으로 중요도를 고려해 k ≪ d개의 좌표 블록을 선택한다.
• 선택된 k차원 부분벡터의 기울기들에만 기하중앙 집계를 적용함으로써 Gm 계산의 차원을 감소시킨다.
• 과거 기울기 추정치를 저장하는 메모리 기반 기법을 통해 선택된 좌표에서의 강건성과 수렴성을 향상시킨다.
• 이중 단계 업데이트를 사용한다: 첫 번째로 기하중앙을 통한 선택된 좌표에서의 부분 업데이트; 두 번째로 강건한 추정치와 나머지 파라미터를 조합한 전체 파라미터 업데이트.
• 이론적 분석을 통해 BGmD가 동일한 가정 조건 하에서 전체 GmD와 동일한 수렴 보장을 유지함을 입증했다. 이는 Polyak-Łojasiewicz(PL) 조건을 포함한다.
• 표준 딥러닝 프레임워크와의 호환성을 고려해 설계되었으며, 최대 50%까지 오염된 기울기들에 강건한 미니배치 학습을 지원한다.

실험 결과

연구 질문

• RQ1 기하중앙 집계를 고차원 최적화에 효율적으로 적용할 수 있는가? 이때 계산 비용이 금지적인 수준이 되지 않는가?
• RQ2 선택적 좌표 기반 기하중앙 집계가 극심한 오염 조건 하에서도 최적의 붕괴점 0.5를 유지하는가?
• RQ3 메모리 보강 기반의 블록좌표 접근법이 전체 기하중앙 SGD와 유사한 수렴 속도를 달성할 수 있는가?
• RQ4 좌표 선택 전략의 선택이 비凸 딥러닝 환경에서의 강건성과 수렴성에 어떤 영향을 미치는가?

주요 결과

• BGmD는 극심한 오염 조건 하에서도 이론적으로 최적의 붕괴점 0.5를 달성한다.
• 딥러닝 모델 학습에서 표준 GmD 대비 최대 90%의 속도 향상을 기록했으며, 정확도 저하가 최소한이었다.
• 이론적 분석을 통해 BGmD가 PL 조건 하에서 전체 GmD와 유사한 비점근 수렴 속도를 유지함을 확인했다.
• 메모리 기반 기법은 희소하거나 오염된 업데이트 상황에서도 시간에 따라 기울기 추정치를 안정화시켜 강건성을 크게 향상시켰다.
• 실증 결과에 따르면, BGmD는 50% 기울기 오염 상황에서도 배경 공격 및 이방성 공격 시나리오에서도 높은 테스트 정확도를 유지했다.
• 블록 크기 k의 선택에 대해 수렴 성능이 뛰어나게 안정되어 있었으며, k ≪ d 범위에서 넓은 영역에서 우수한 성능을 보였다.