[논문 리뷰] Neural network gradient-based learning of black-box function interfaces

Alon Jacovi, Guy Hadash외 5명|arXiv (Cornell University)|2019. 01. 13.

Advanced Neural Network Applications참고 문헌 19인용 수 11

한 줄 요약

이 논문은 비미분 가능이고 정밀한 블랙박스 함수와 상호작용하는 신경망의 엔드 투 엔드 학습을 위한 새로운 '추정 및 교체(estimate and replace)' 프레임워크를 제안한다. 최적화 중에는 블랙박스 함수의 행동을 모방하는 미분 가능한 신경망 추정기로 학습하고, 추론 시에는 실제 함수로 교체함으로써 중간 레이블이 없이 기울기 기반 학습이 가능하게 하며, 강화학습이나 완전히 미분 가능한 모델보다 더 나은 일반화 및 샘플 효율성을 달성한다.

ABSTRACT

Deep neural networks work well at approximating complicated functions when provided with data and trained by gradient descent methods. At the same time, there is a vast amount of existing functions that programmatically solve different tasks in a precise manner eliminating the need for training. In many cases, it is possible to decompose a task to a series of functions, of which for some we may prefer to use a neural network to learn the functionality, while for others the preferred method would be to use existing black-box functions. We propose a method for end-to-end training of a base neural network that integrates calls to existing black-box functions. We do so by approximating the black-box functionality with a differentiable neural network in a way that drives the base network to comply with the black-box function interface during the end-to-end optimization process. At inference time, we replace the differentiable estimator with its external black-box non-differentiable counterpart such that the base network output matches the input arguments of the black-box function. Using this "Estimate and Replace" paradigm, we train a neural network, end to end, to compute the input to black-box functionality while eliminating the need for intermediate labels. We show that by leveraging the existing precise black-box function during inference, the integrated model generalizes better than a fully differentiable model, and learns more efficiently compared to RL-based methods.

연구 동기 및 목표

• 비미분 가능하고 정밀한 블랙박스 함수를 엔드 투 엔드 신경망 학습에 통합하는 데 도전하는 것.
• 신경망이 외부 기호적 또는 산술 함수와 상호작용하는 작업에서 고비용의 중간 레이블이 필요 없도록 하는 것.
• 블랙박스 함수 통합을 위한 강화학습 기반 방법과 비교해 학습 안정성과 샘플 효율성을 향상시키는 것.
• 추론 시점에 블랙박스 함수의 정확한 행동을 활용함으로써 일반화 능력을 향상시키는 것.
• 모듈러하고 인터페이스 호환성 있는 신경망 아키텍처를 통해 모델의 해석 가능성과 재사용성을 향상시키는 것.

제안 방법

• 학습 중에 비미분 가능 블랙박스 함수의 입력-출력 행동을 근사하는 미분 가능한 블랙박스 추정기 신경망을 도입한다.
• 주요 신경망을 역전파를 사용해 엔드 투 엔드로 학습시키며, 실제 함수 대신 추정기 모델을 서rogate로 사용한다.
• 동일한 입력에 대해 실제 블랙박스 함수의 출력에서 유도된 합성 레이블을 사용해 추정기의 지도 신호를 생성한다.
• 추론 시점에 미분 가능한 추정기를 원래의 비미분 가능 블랙박스 함수로 교체하여 네트워크의 학습된 입력 분포를 유지한다.
• 블랙박스 함수를 오라클로 사용해 추정기의 학습을 이끌어내어 진짜 인터페이스와의 일치를 보장한다.
• 모듈러한 아키텍처를 설계하여 네트워크를 학습 가능한 컴포onent과 명확하게 정의된 외부 함수 호출로 해석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비미분 가능 블랙박스 함수의 입력을 생성하기 위해 중간 레이블이 필요 없이 신경망을 학습시킬 수 있는가?
• RQ2 추론 시점에 미분 가능한 추정기를 실제 블랙박스 함수로 교체하면, 완전히 엔드 투 엔드 신경망 모델과 비교해 일반화 능력이 향상되는가?
• RQ3 비미분 가능성에도 불구하고 기울기 기반 최적화가 블랙박스 함수를 호출하는 모델에 효과적으로 적용될 수 있는가?
• RQ4 제안된 '추정 및 교체' 방법은 강화학습 기반 대안과 비교해 샘플 효율성과 학습 안정성에서 어떻게 다른가?
• RQ5 이 프레임워크의 모듈러한 설계가 모델의 해석 가능성과 재사용성에 얼마나 기여하는가?

주요 결과

• '추정 및 교체' 방법은 추론 시점에 블랙박스 함수의 정확한 행동을 활용하기 때문에, 완전히 미분 가능한 신경망 모델보다 더 나은 일반화 능력을 보인다.
• 블랙박스 함수 통합을 위한 정책 기반 강화학습 방법과 비교해 더 낮은 샘플 복잡도와 높은 학습 안정성을 달성한다.
• 블랙박스 함수를 오라클로 사용해 추정기의 학습 신호를 생성함으로써 고비용의 중간 레이블이 필요 없어진다.
• 모듈러한 아키텍처 덕분에 모델의 해석 능력이 향상되어, 예를 들어 WordNet이나 산술 모듈과 같은 외부 함수와의 상호작용을 점검하고 설명할 수 있다.
• 명확하게 정의된 인터페이스 호환 모듈을 통해 재사용성이 향상되어 다양한 작업 간에 모듈을 재사용할 수 있다.
• 실험 결과는 이 방법이 의미 분석 및 질문 응답 작업에서 엔드 투 엔드 신경망 모델과 RL 기반 베이스라인 모두보다 학습 효율성과 최종 성능에서 뛰어나다는 것을 보여준다.