[논문 리뷰] Feed-Forward Neural Networks Need Inductive Bias to Learn Equality Relations

Tillman Weyde, Radha Manisha Kopparti|arXiv (Cornell University)|2018. 12. 04.

Neural Networks and Applications참고 문헌 13인용 수 5

한 줄 요약

이 논문은 표준 전방향 신경망이 최대한의 훈련 데이터를 사용하더라도 이진 벡터 간의 등가 관계를 일반화하지 못함을 보여준다. 이를 해결하기 위해 저자는 차등 정류기(DR) 유닛을 인도크티브 바이어스로 도입하여, 테스트된 모든 차원과 데이터 크기에서 완벽한 일반화를 가능하게 하였으며, 등가 및 관련 작업에서 표준 네트워크보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Basic binary relations such as equality and inequality are fundamental to relational data structures. Neural networks should learn such relations and generalise to new unseen data. We show in this study, however, that this generalisation fails with standard feed-forward networks on binary vectors. Even when trained with maximal training data, standard networks do not reliably detect equality.We introduce differential rectifier (DR) units that we add to the network in different configurations. The DR units create an inductive bias in the networks, so that they do learn to generalise, even from small numbers of examples and we have not found any negative effect of their inclusion in the network. Given the fundamental nature of these relations, we hypothesize that feed-forward neural network learning benefits from inductive bias in other relations as well. Consequently, the further development of suitable inductive biases will be beneficial to many tasks in relational learning with neural networks.

연구 동기 및 목표

• 표준 전방향 신경망이 이론적으로 가능함에도 불구하고 이진 벡터 간의 등가 관계를 일반화하지 못하는 이유를 조사한다.
• 다양한 벡터 차원, 훈련 데이터 크기, 네트워크 깊이에서 표준 네트워크의 일반화 성능을 검토한다.
• 등가 및 관련 관계 작업을 위한 일반화를 향상시키기 위해 새로운 인도크티브 바이어스 메커니즘인 차등 정류기(DR) 유닛을 설계하고 평가한다.
• DR 유닛이 관련되지 않은 또는 목표가 아닌 작업에서 성능에 악영향을 주는지 평가하여, 강건성과 광범위한 적용 가능성을 확보한다.
• 표준 네트워크가 등가성과 같은 기본 관계를 학습하지 못하는 데서 비롯되는 인도크티브 바이어스의 더 넓은 함의를 탐구한다.

제안 방법

• 이진 벡터 쌍(등가 대 비등가)을 분류하기 위해 ReLU 활성화 함수와 소프트맥스 출력을 사용하는 표준 전방향 신경망(FFNN)을 구현한다.
• 입력 벡터의 대응 요소를 직접 비교하도록 설계된, 차등 정류기(DR) 유닛을 구조적 인도크티브 바이어스로 도입한다.
• 세 가지 아키텍처를 평가한다: 일반 FFNN, 초기 융합(DR 유닛을 첫 번째 히든 레이어 이전에 추가), 중간 융합(DR 유닛을 첫 번째 히든 레이어 이후에 삽입).
• 다양한 차원(n=2에서 n=100까지)에서 합성적으로 생성된 이진 벡터 쌍에 대해 Adam 옵timizer와 교차 엔트로피 손실을 사용해 네트워크를 훈련시킨다.
• 모든 가능한 등가 쌍을 포함하는 전체 테스트 세트와 비등가 쌍을 위한 무작위 샘플을 포함한 미관측 데이터에서 일반화를 테스트한다.
• DR 유닛의 강건성 평가를 위해 데이터 커버리지, 훈련 크기, 그리고 비등가 작업(예: 숫자 비교, 숫자 합계, 숫자 역전)에서의 성능에 대한 분석을 수행한다.

실험 결과

연구 질문

• RQ1 표준 전방향 신경망이 최대한의 데이터로 훈련된 후에도 이진 벡터 간의 등가 관계를 일반화하지 못하는 이유는 무엇인가?
• RQ2 특히 DR 유닛이라는 구조적 인도크티브 바이어스를 추가함으로써, 전방향 네트워크에서 등가 검출을 위한 신뢰할 수 있는 일반화가 가능해지는가?
• RQ3 다양한 벡터 차원, 훈련 데이터 크기, 네트워크 깊이에서 DR 유닛이 통합된 네트워크의 성능은 표준 FFNN과 비교해 어떻게 되는가?
• RQ4 DR 유닛은 관련이 없거나 목표가 아닌 작업, 예를 들어 숫자 합계 분류나 숫자 역전에서 성능에 악영향을 주는가?
• RQ5 표준 네트워크가 등가성을 학습하지 못하는 이 실패 현상은 신경망 내에서 관계 학습과 인도크티브 바이어스 설계에 대해 어떤 더 넓은 함의를 갖는가?

주요 결과

• 표준 전방향 신경망은 등가 검출을 일반화하지 못하며, 최대한의 훈련 데이터를 사용하더라도 정확도가 50–75%에 머무르며, 종종 우연 수준(50%)을 약간 넘어서는 수준에 머무른다.
• DR 유닛이 통합된 중간 융합(Mid Fusion) 아키텍처는 모든 벡터 차원(n=2에서 n=100까지)에서 100% 테스트 정확도를 달성하여 완벽한 일반화를 보였다.
• 중간 융합 구성은 전체 훈련 데이터의 10%만으로도 100% 정확도를 달성하며, 표준 FFNN은 데이터 증가에 비해 성능 향상이 거의 없었다.
• DR 유닛은 비등가 작업에서 성능을 저하시키지 않으며, 숫자 비교(92% 대 75%)와 숫자 합계 분류(100% 대 77%)에서 성능 향상 또는 유지 효과를 보였다.
• DR 유닛 설계와 맞지 않는 작업인 숫자 역전에서는 중간 융합 아키텍처가 여전히 58%의 정확도를 기록하여 표준 FFNN(50%)보다 뛰어난 성능을 보였다. 이는 일부 전이 가능성 존재를 시사한다.
• DR 유닛이 통합된 중간 융합 아키텍처는 모든 테스트 조건에서 다른 구성보다 뚜렷이 뛰어나며, 등가 및 관련 작업에서 완벽한 일반화를 지속적으로 달성했다.