[논문 리뷰] Feature Grouping as a Stochastic Regularizer for High-Dimensional Structured Data

Sergül Aydöre, Bertrand Thirion외 1명|arXiv (Cornell University)|2018. 07. 31.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 군집화를 통해 상관관계가 있는 특징을 그룹화하고, 확률적 경사 하강법(SGD) 중에 무작위로 적용하는 확률적 정규화 기법을 제안한다. 이는 효과적으로 노이즈 제거 정규화 기법으로 작용하며, fMRI 및 얼굴 이미지와 같은 고차원, 소표본 설정에서 일반화 성능과 수렴 속도를 향상시킨다. 특히 고노이즈 및 저표본 환경에서 $β$-정규화, 드롭아웃, 컨볼루션 신경망(CNNs)을 능가한다.

ABSTRACT

In many applications where collecting data is expensive, for example neuroscience or medical imaging, the sample size is typically small compared to the feature dimension. It is challenging in this setting to train expressive, non-linear models without overfitting. These datasets call for intelligent regularization that exploits known structure, such as correlations between the features arising from the measurement device. However, existing structured regularizers need specially crafted solvers, which are difficult to apply to complex models. We propose a new regularizer specifically designed to leverage structure in the data in a way that can be applied efficiently to complex models. Our approach relies on feature grouping, using a fast clustering algorithm inside a stochastic gradient descent loop: given a family of feature groupings that capture feature covariations, we randomly select these groups at each iteration. We show that this approach amounts to enforcing a denoising regularizer on the solution. The method is easy to implement in many model architectures, such as fully connected neural networks, and has a linear computational cost. We apply this regularizer to a real-world fMRI dataset and the Olivetti Faces datasets. Experiments on both datasets demonstrate that the proposed approach produces models that generalize better than those trained with conventional regularizers, and also improves convergence speed.

연구 동기 및 목표

• 신경영상 및 의료 적용 분야에서 흔한 고차원, 소표본 데이터셋에서의 과적합 문제를 해결한다.
• 복잡한 모델에 대해 맞춤형 솔버가 필요하지 않은, 특징 상관관계를 활용하는 구조적 정규화 기법을 개발한다.
• SGD를 사용해 비볼록 모델(예: 딥 네ural 네트워크)에 효율적인 정규화를 가능하게 한다.
• 실제 데이터(예: fMRI 및 얼굴 이미지)에서 노이즈와 표본 수 제한에 대한 모델의 강건성을 향상시킨다.
• 표준 딥 러닝 프레임워크와 호환되는 계산 효율이 높고 즉시 적용 가능한 정규화 기법을 제공한다.

제안 방법

• 특징 간 상관관계를 기반으로 빠른 군집 알고리즘을 사용해 특징을 그룹화하여 데이터의 기본 구조를 포착한다.
• 각 SGD 업데이트 시 이러한 특징 그룹을 무작위로 샘플링하여 최적화 과정에 확률성을 도입한다.
• 그룹화된 특징을 입력 수준의 데이터 증강 기법으로 활용하여 입력 공간을 효과적으로 스무딩한다.
• 특징 클러스터 내에서 평균을 취하므로 노이즈가 많은 특징에 대한 민감도를 감소시켜 암묵적으로 노이즈 제거 정규화 기법을 구현한다.
• 선형 계산 비용으로 SGD 루프에 통합되며, 아키텍처 변경 없이 구현 가능하다.
• 모든 모델 아키텍처(딥 네트워크 포함)와 호환되며, 매개변수 수가 가장 많은 입력 레이어에서 작동한다.

실험 결과

연구 질문

• RQ1 군집화를 통한 특징 그룹화가 고차원, 소표본 설정에서 효과적이고 일반적인 정규화 기법으로 기능할 수 있는가?
• RQ2 제안된 확률적 정규화 기법이 일반 정규화 기법($β$-정규화, 드롭아웃 등)과 비교해 일반화 성능 및 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ3 이 방법은 실생활 신경영상 및 비전 데이터셋에서 노이즈와 소표본 수 제한에 대해 강건성을 향상시키는가?
• RQ4 이 정규화 기법은 전용 솔버 없이도 비볼록 모델(예: 딥 네ural 네트워크)에 효율적으로 적용될 수 있는가?
• RQ5 기존 방법과 비교해 제안된 방법의 계산 비용과 메모리 사용량은 어떠한가?

주요 결과

• Olivetti Faces 데이터셋에서, 고노이즈 조건 하에서 $β$-정규화, 드롭아웃, CNNs보다 높은 테스트 정확도를 기록했고, 수렴 속도도 빠르게 나타났다.
• HCP-small fMRI 데이터셋에서, 특히 학습 샘플 수가 적은 저표본 환경에서 모든 베이스라인보다 뛰어난 성능을 보였다.
• 특징 그룹화 기법에서 학습된 가중치는 다른 정규화 기법보다 시각적으로 노이즈가 적어, 고노이즈 환경에서 뛰어난 성능을 내는 이유를 설명한다.
• 고가우시안 노이즈 조건에서도 높은 정확도를 유지하여 데이터 손상에 대한 강력한 강건성을 입증했다.
• 정규화 기법의 계산 비용은 특징 차원에 대해 선형이며, 기존 방법 대비 메모리 사용량을 줄였다.
• CNN의 이동 불변성에 대한 인덕티브 바이어스가 뇌 이미지에 악영향을 미치는 상황에서, fMRI 데이터에 대해 CNN보다 더 우수한 일반화 성능을 달성했다.