[논문 리뷰] Measuring Arithmetic Extrapolation Performance

Andreas Nygaard Madsen, Alexander Rosenberg Johansen|arXiv (Cornell University)|2019. 10. 04.

Model Reduction and Neural Networks참고 문헌 10인용 수 9

한 줄 요약

이 논문은 신경산술논리유닛(NALUs)에서 산술 외삽 성능을 평가하기 위해 엄격한 MSE 임계값을 기반으로 한 성공 기준을 제안한다. 이는 4,800개의 실험을 통해 수렴 성공률, 수렴 속도, 파라미터 희소성에 대한 신뢰할 수 있는 측정을 가능하게 한다. 연구 결과, NALUs는 특히 곱셈과 나눗셈에서 가중치 초기화에 매우 민감하여 일관된 수렴을 이루지 못하는 것으로 나타났다.

ABSTRACT

The Neural Arithmetic Logic Unit (NALU) is a neural network layer that can learn exact arithmetic operations between the elements of a hidden state. The goal of NALU is to learn perfect extrapolation, which requires learning the exact underlying logic of an unknown arithmetic problem. Evaluating the performance of the NALU is non-trivial as one arithmetic problem might have many solutions. As a consequence, single-instance MSE has been used to evaluate and compare performance between models. However, it can be hard to interpret what magnitude of MSE represents a correct solution and models sensitivity to initialization. We propose using a success-criterion to measure if and when a model converges. Using a success-criterion we can summarize success-rate over many initialization seeds and calculate confidence intervals. We contribute a generalized version of the previous arithmetic benchmark to measure models sensitivity under different conditions. This is, to our knowledge, the first extensive evaluation with respect to convergence of the NALU and its sub-units. Using a success-criterion to summarize 4800 experiments we find that consistently learning arithmetic extrapolation is challenging, in particular for multiplication.

연구 동기 및 목표

• 신경망에서 산술 외삽을 평가하기 위한 표준화되고 해석 가능한 메트릭의 부재를 해결하기 위해.
• 다양한 무작위 가중치 초기화 설정에서 NALU가 기저 산술 연산의 논리를 얼마나 자주 성공적으로 학습하는지 측정하기 위해.
• 다양한 작업 조건에서 NALU 및 그 하위 유닛(NACs)의 수렴 속도와 파라미터 희소성을 정량화하기 위해.
• 산술 외삽 작업에서 모델의 강건성과 신뢰성을 평가하기 위한 일반화된 벤치마크를 제공하기 위해.

제안 방법

• 거의 완벽한 해에 비해 MSE 임계값 10^-5를 사용해 성공 기준을 정의함으로써, 회귀 작업에서 정확한 일치를 시뮬레이션한다.
• 성공률를 요약하기 위해 이항 신뢰구간을 사용하며, 수렴 시간은 감마 분포로 모델링한다.
• 희소성 오차를 max_i min(|W_i|, |1 - |W_i||)로 측정하고, 경계를 고려하기 위해 수정된 베타 분포를 사용해 신뢰구간을 계산한다.
• 포괄적인 평가를 위해 단순 함수 학습 작업 벤치마크를 확장하여 입력 크기, 부분집합 비율, 연산 유형을 다양화한다.
• 성공 기준을 위한 기준 MSE를 계산하기 위해 100만 개의 테스트 샘플로 모델을 훈련시켜 강건한 임계값 설정을 보장한다.
• 최대우도 프로파일링을 사용해 성공률, 수렴 시간, 희소성 오차에 대한 95% 신뢰구간을 계산한다.

실험 결과

연구 질문

• RQ1 다양한 무작위 가중치 초기화 설정에서 NALU가 얼마나 자주 올바른 산술 논리를 성공적으로 학습하는가?
• RQ2 모델은 일반적으로 어느 훈련 반복 단계에서 성공적인 해에 수렴하는가?
• RQ3 덧셈, 뺄셈, 곱셈, 나눗셈과 같은 다양한 산술 연산에서 모델 성능은 어떻게 달라지는가?
• RQ4 NALU에서 성공적인 외삽과 파라미터 희소성 간의 관계는 어떠한가?
• RQ5 일반화된 벤치마크는 입력 크기 및 부분집합 비율과 같은 하이퍼파라미터에 대한 민감성을 어떻게 드러내는가?

주요 결과

• 100개의 시드에서 NALU는 곱셈 및 나눗셈 작업에서 0%의 성공률을 기록하여 수렴에 대한 일관된 실패를 보였다.
• 덧셈과 뺄셈의 경우, NALU는 각각 14%의 성공률을 기록했으며, 초기화 설정 간에 높은 변동성을 보였다.
• NAC+ 하위 유닛은 덧셈과 뺄셈에서 100%의 성공률를 기록했으며, 평균적으로 약 370,000~490,000 반복 이내에 수렴했다.
• 성공적인 실행에서의 수렴 시간은 140만에서 300만 반복 사이를 오갔으며, 곱셈 작업에서 가장 느린 수렴이 관찰되었다.
• 성공한 NAC+ 및 선형 모델의 경우 희소성 오차가 높았고, 0.23~0.25 수준이었으며, 이는 정확한 해를 얻더라도 비희소 해를 취하는 것을 시사한다.
• 본 연구는 NALU가 가중치 초기화에 매우 민감하며, 곱셈과 나눗셈에서 시행된 실험 전반에 걸쳐 일관된 수렴이 이루어지지 않는다는 점을 드러냈다.