[논문 리뷰] Identity Crisis: Memorization and Generalization under Extreme Overparameterization

Chiyuan Zhang, Samy Bengio외 3명|arXiv (Cornell University)|2019. 02. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 34

한 줄 요약

논문은 하나의 예제로 학습할 때 과다 매개변수화된 신경망이 항등 매핑을 기억하거나 일반화하는지를 조사하며, FCN과 CNN 아키텍처를 비교하고 아키텍처 의존적 귀납 편향을 강조합니다.

ABSTRACT

We study the interplay between memorization and generalization of overparameterized networks in the extreme case of a single training example and an identity-mapping task. We examine fully-connected and convolutional networks (FCN and CNN), both linear and nonlinear, initialized randomly and then trained to minimize the reconstruction error. The trained networks stereotypically take one of two forms: the constant function (memorization) and the identity function (generalization). We formally characterize generalization in single-layer FCNs and CNNs. We show empirically that different architectures exhibit strikingly different inductive biases. For example, CNNs of up to 10 layers are able to generalize from a single example, whereas FCNs cannot learn the identity function reliably from 60k examples. Deeper CNNs often fail, but nonetheless do astonishing work to memorize the training output: because CNN biases are location invariant, the model must progressively grow an output pattern from the image boundaries via the coordination of many layers. Our work helps to quantify and visualize the sensitivity of inductive biases to architectural choices such as depth, kernel width, and number of channels.

연구 동기 및 목표

• 매우 과다 매개변수화된 네트워크에서 기억화와 일반화 사이의 균형을 조사한다.
• 아키텍처(FCN vs CNN, 깊이, 커널 크기)가 단일 예제 항등 작업 하에서 귀납 편향에 어떤 영향을 미치는지 검토한다.
• 아키텍처 선택이 항등 함수 근사 능력에 어떻게 영향을 미치는지 정량화하고 시각화한다.
• 단순화된 경우에 대한 형식적 결과와 네트워크 깊이와 구성 전반에 걸친 실험적 통찰을 제공한다.

제안 방법

• 단일 학습 예제와 항등 매핑 목표를 가진 매우 과다 매개변수화된 설정을 연구한다.
• 다양한 아키텍처(선형 및 비선형, 완전연결 및 합성곱)를 학습시켜 재구성 오차를 최소화한다.
• unseen 데이터에 대한 예측과 관련된 단일 계층 FCN 및 CNN에 대한 이론적 특성을 제공한다.
• 아키텍처 하이퍼파라미터(깊이, 커널 폭, 채널 수)와 초기화를 체계적으로 변화시켜 기억화 또는 일반화에 편향을 관찰한다.
• 정성적 시각화와 정량적 상관관계를 통해 항등함수 및 상수함수에 대한 예측을 비교한다.

실험 결과

연구 질문

• RQ1 단일 학습 예제에서의 극단적 과다 매개변수화가 FCN 및 CNN 아키텍처 전반에 걸쳐 기억화 대 일반화에 어떤 영향을 미치는가?
• RQ2 깊이, 커널 크기, 채널 수와 같은 아키텍처 요소가 모델을 항등 함수나 상수 함수로 편향시키는가?
• RQ3 원샷 학습하에서 간단한 네트워크의 거동을 형식화할 수 있으며 CNN에서 일반화를 관찰하고 FCN에서 기억화를 관찰하는가?
• RQ4 학습 동역학과 초기화 방식이 심층 과다 매개변수 모델에서 유도된 귀납 편향을 어떻게 형성하는가?
• RQ5 일층 CNN에서의 항등 학습과 패치 순위 의존성에 유사한 경계 또는 질적 설명은 무엇인가?

주요 결과

• CNN은 하나의 예제에서 여러 계층까지 일반화할 수 있는 반면, FCN은 종종 기억화되거나 보이지 않는 데이터에서 무작위 출력을 생성한다.
• 깊은 선형 네트워크는 상수 함수로 편향되는 반면, 얕은 네트워크는 학습 영역 밖에서 무작위 노이즈와 유사하게 보일 수 있다.
• CNN은 아키텍처 의존적 편향을 보이며 중간 깊이의 CNN은 항등에 근사할 수 있는 반면 매우 깊은 CNN은 학습 출력을 기억하는 경향이 있다.
• 이론적 결과는 1계층 FCN이 학습 예제에 대한 투영에 지배적으로 의존하고 직교 방향에 대해 무작위 성분을 갖는 출력을 예측한다는 것을 보여주며, 이는 기억화 동작을 설명한다.
• CNN의 경우 평균 제곱 오차 bound는 매개변수 수, 채널 수, 수용 영역 및 로컬 입력 패치의 랭크에 의존하여 항등의 용량과 학습 가능성 간의 trade-off를 시사한다.