[논문 리뷰] Generalizing Outside the Training Set: When Can Neural Networks Learn Identity Effects?

Simone Brugiapaglia, Matthew Tingchi Liu외 1명|arXiv (Cornell University)|2020. 05. 09.

Neural Networks and Applications참고 문헌 6인용 수 4

한 줄 요약

이 논문은 신경망이 훈련 데이터 외부에서 일반화할 수 있는지, 예를 들어 'AA'는 문법적으로 타당한 반면 'AB'는 그렇지 않은 것처럼 '동일성 효과'를 인식하는지 조사한다. 입력 인코딩의 불변성 기반 이론적 프레임워크를 사용하여, 표준 원-핫 및 직교 인코딩은 일반화를 방해하는 반면, 3-활성비트와 같은 분산 인코딩은 부분적인 일반화를 가능하게 함을 보여주며, 이는 인코딩 선택이 네트워크가 명시적 변수 인스턴스화 없이 추상 대수 법칙을 학습할 수 있는지 여부를 결정한다는 핵심 요소임을 입증한다.

ABSTRACT

Often in language and other areas of cognition, whether two components of an object are identical or not determine whether it is well formed. We call such constraints identity effects. When developing a system to learn well-formedness from examples, it is easy enough to build in an identify effect. But can identity effects be learned from the data without explicit guidance? We provide a simple framework in which we can rigorously prove that algorithms satisfying simple criteria cannot make the correct inference. We then show that a broad class of algorithms including deep neural networks with standard architecture and training with backpropagation satisfy our criteria, dependent on the encoding of inputs. Finally, we demonstrate our theory with computational experiments in which we explore the effect of different input encodings on the ability of algorithms to generalize to novel inputs.

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 새로운 입력에 대해 신경망이 동일성 효과—예를 들어 동일한 요소와 다른 요소를 구분하는 것—을 학습할 수 있는지 확인하는 것.
• 입력 인코딩이 학습 알고리즘이 훈련 데이터를 초월해 일반화하는 데 미치는 영향을 조사하는 것.
• 학습 알고리즘이 동일성 효과를 유지하는 변환에 대해 불변이 되는 조건을 형식화하는 것.
• 이론적 분석과 계산 실험을 융합하여, 다양한 인코딩에서 일반화 성능 예측을 검증하는 것.

제안 방법

• 저자는 훈련 데이터 D와 입력 w를 평가 점수로 매핑하는 함수 L(D, w)로 학습 알고리즘을 정의하며, 모델 훈련과 추론을 하나의 함수로 통합한다.
• 저자는 동일성 효과를 유지하는 입력에 대한 변환 τ(예: 훈련 세트에 포함되지 않은 문자의 교환)를 도입하고, 알고리즘과 데이터셋이 τ에 대해 불변임을 정의한다.
• 핵심 이론적 결과로, 훈련 데이터 D와 학습 알고리즘 L이 모두 τ에 대해 불변이라면, τ에 의해 연결된 w₁, w₂에 대해 L(D, w₁) = L(D, w₂)임을 증명하며, 이는 모델이 이를 구분할 수 없음을 의미한다.
• 논문은 표준 딥 뉴럴 네트워크가 역전파 훈련을 통해 수행될 경우, 원-핫 또는 하르 인코딩과 같은 직교 인코딩 방식을 사용할 때 τ에 대해 불변임을 증명한다.
• 계산 실험은 동일성 효과를 위한 이진 분류 작업에서 세 가지 인코딩—원-핫, 3-활성비트 분산, 하르—를 비교한다.
• 일반화 성능 평가를 위해 'YY'(예상 점수 1)와 'YZ'(예상 점수 0)와 같은 새로운 입력에 대한 평균 점수를 측정하며, 모델이 동일성 쌍에 더 높은 점수를 부여하는지 평가한다.

실험 결과

연구 질문

• RQ1 훈련 세트에 포함되지 않은 새로운 입력에 대해 신경망이 동일성 효과—예를 들어 동일 쌍과 비동일 쌍을 구분하는 것—을 학습할 수 있는가?
• RQ2 입력 인코딩이 신경망에서 동일성 효과의 일반화를 방해하거나 가능하게 하는 조건은 무엇인가?
• RQ3 학습 알고리즘과 훈련 데이터가 변환 τ에 대해 불변이라면, τ에 의해 연결된 입력들 사이를 모델이 구분할 수 없는가?
• RQ4 원-핫 또는 직교 인코딩이 실패할 경우, 3-활성비트와 같은 분산 인코딩이 부분적인 일반화를 얼마나 잘 허용하는가?
• RQ5 다른 입력 인코딩을 사용할 경우, 새로운 동일성 쌍과 비동일 쌍에 대한 모델 성능에 측정 가능한 차이가 있는가?

주요 결과

• 원-핫 인코딩을 사용해 훈련한 신경망은 일반화에 실패했으며, 'YY'와 'YZ'에 대해 유사한 점수를 부여하여 동일성 쌍과 비동일성 쌍을 구분하지 못함을 보였다.
• 직교 인코딩인 하르 인코딩을 사용한 경우에도 네트워크는 일반화에 실패했으며, 'YY'와 'YZ'에 대해 유의미한 차이가 없는 점수를 기록했다.
• 반면, 3-활성비트 분산 인코딩은 부분적인 일반화를 가능하게 했으며, 네트워크는 'YY'에 대해 'YZ'보다 유의미하게 높은 평균 점수를 할당했다.
• 훈련 및 검증 손실 곡선은 원-핫 및 하르 케이스에서 명확한 격차를 보이며 일반화 부족을 시사했고, 분산 인코딩의 경우 이러한 격차가 없었다.
• 이론적 분석은 직교 인코딩이 τ에 대해 불변을 초래함을 확인했으며, 이는 일반화 실패를 설명한다. 반면 비직교인 3-활성비트 인코딩은 이러한 불변성을 깨뜨려 부분적 일반화를 가능하게 했다.
• 결과는 인코딩의 구조가 신경망이 명시적 변수 인스턴스화 없이도 대수 법칙, 예를 들어 동일성 효과와 같은 추상 규칙을 일반화할 수 있는지 여부를 결정한다는 주장을 뒷받침한다.