[논문 리뷰] A case for new neural network smoothness constraints

Mihaela Rosca, Théophane Weber외 2명|arXiv (Cornell University)|2020. 12. 14.

Adversarial Robustness in Machine Learning참고 문헌 69인용 수 16

한 줄 요약

이 논문은 신경망의 스무스니스 제약을 개선하기 위해 작업별, 데이터 모odal리티 인지형, 학습 가능한 스무스니스 정의를 통합함으로써 기존의 고정된, 일률적인 정규화 방식을 넘어서는 패러다임 전환을 주장한다. 스무스니스는 더 이상 고정된 노름이나 히우리스틱에 의존하는 것이 아니라, 적응형이고 학습 가능한 표현과 메트릭을 통해 정의되어야 하며, 이는 생성 모델링과 강화학습에서 일반화 능력, 내성력, 성능 향상에 기여한다.

ABSTRACT

How sensitive should machine learning models be to input changes? We tackle the question of model smoothness and show that it is a useful inductive bias which aids generalization, adversarial robustness, generative modeling and reinforcement learning. We explore current methods of imposing smoothness constraints and observe they lack the flexibility to adapt to new tasks, they don't account for data modalities, they interact with losses, architectures and optimization in ways not yet fully understood. We conclude that new advances in the field are hinging on finding ways to incorporate data, tasks and learning into our definitions of smoothness.

연구 동기 및 목표

• 현재의 스무스니스 정규화 기법들이 일반적으로 엄격하고 작업 무관이며 손실, 아키텍처, 최적화와의 상호작용이 잘 이해되지 않는 점을 해결하기 위해.
• 스무스니스가 일반화, 적대적 내성력, 생성 모델링, 강화학습에 핵심적인 인덕티브 바이어스임을 주장하기 위해.
• 스무스니스 제약이 고정된 노름이나 히우리스틱이 아닌, 학습 가능한 표현과 작업별 메트릭을 통해 정의되는 새로운 프레임워크를 주장하기 위해.
• 실제 모델 행동을 반영하는 더 나은 스무스니스 측정 방법, 예를 들어 더 날카운 립시츠 상한과 자코비안 기반 메트릭이 필요함을 강조하기 위해.
• 스무스니스를 모델 복잡성과 일반화의 핵심 구성요소로 위치지워, 작업 정의와 표현 학습과의 통합이 필요함을 제안하기 위해.

제안 방법

• 모델 출력의 상하 변동을 제한하기 위해 양방향 립시츠 제약을 사용하여 입력 변화에 대한 출력 변화의 비율을 유지함으로써, 역행성과 다양성 유지 보장을 확보한다.
• 원시 입력이 아닌 학습된 특징 표현 $ h(x) $ 에 스무스니스 제약을 적용하는 아이디어를 제안하며, $ \|f(h(x)) - f(h(y))\| \leq \|h(x) - h(y)\| $ 를 통해 데이터의 구조를 더 잘 포착한다.
• 수작업으로 표현을 설계하는 대신, 작업의 관련성과 데이터 모달리티 인지 능력을 확보하기 위해 표현 $ h $ 를 엔드 투 엔드로 학습시키는 것을 주장한다.
• 스무스니스를 자코비안 노름과 볼록 최적화 기법(예: Fazlyab 등 [67])을 통해 측정하여, 계층별 조합보다 더 날카운 립시츠 상한을 도출한다.
• 강화학습과 GAN의 파rametric 크티컬을 학습 가능한 손실 함수로 재정의하여 스무스니스를 활용해 훈련 안정성과 공변량 이동 감소를 도모한다.
• VC나 라데마처 복잡도를 넘어서 스무스니스 인덕티브 바이어스를 통합한 새로운 모델 복잡도 측정 방법의 필요성을 제기한다.

실험 결과

연구 질문

• RQ1 스무스니스 제약을 고정된 방식에서 벗어나 데이터 모달리티와 작업 요구사항에 적응형으로 만들 수 있는가?
• RQ2 현재의 스무스니스 정규화 기법들(예: 웨이트 디케이, 드롭아웃, 데이터 증강)이 의미 있는 불변성을 포착하는 데에 한계가 있는가?
• RQ3 깊은 신경망에서 스무스니스를 효과적으로 측정할 수 있는 방법은 무엇인가, 특히 느슨하거나 계층별 조합 기반 상한에 의존할 경우?
• RQ4 표현 공간 $ h(x) $ 를 학습시킴으로써 생성 모델에서의 스무스니스 향상과 모드 붕괴 방지가 가능한가?
• RQ5 스무스니스를 모델 복잡도 측정에 통합하여 일반화 성능를 더 잘 반영할 수 있는가?

주요 결과

• 현재의 스무스니스 제약—예를 들어 $ L_2 $ 정규화, 드롭아웃, 데이터 증강—는 효과적이나 해석이 어렵고 적응성이 떨어지며, 종종 명확한 스무스니스 목표 없이 대체 수단으로 작용한다.
• 양방향 립시츠 제약은 모델 출력이 입력 변화에 비례하여 변동함을 보장하여 정보 유지와 생성 모델에서의 모드 붕괴 방지를 가능하게 한다.
• 기울기 노름 제약 $ \|\nabla_x f(x)\| \leq K $ 를 통해 립시츠 연속성을 강제로 적용할 수 있으며, 활성화 도함수에 대한 볼록 최적화를 통해 더 날카운 상한을 도출할 수 있다.
• 자코비안 행렬을 통한 스무스니스 측정은 전역 립시츠 상수보다 더 세밀한 차원별 민감도 분석을 가능하게 하여 더 정교한 이해를 제공한다.
• 원시 입력이 아닌 특징 공간 $ h(x) $ 에서의 스무스니스가 일반화와 내성력 향상에 기여하며, 분포 이동에 대한 처리 능력 향상으로써 이를 입증하였다.
• 크티컬(예: GAN이나 RL에서)의 스무스니스가 훈련 안정성과 공변량 이동 감소에 기여함을 시사하며, 스무스니스가 학습 목표 자체에 통합되어야 함을 시사한다.