[논문 리뷰] KINN: Incorporating Expert Knowledge in Neural Networks

Muhammad Ali Chattha, Shoaib Ahmed Siddiqui외 4명|arXiv (Cornell University)|2019. 02. 15.

Machine Learning and Data Classification참고 문헌 8인용 수 10

한 줄 요약

KINN는 전문가 예측과 딥 뉴럴 네트워크(특히 LSTMs)를 결합하는 새로운 잔차 지식 통합 프레임워크를 제안하여, 특히 데이터가 부족한 조건에서 모델 성능을 향상시킨다. 전문가 출력을 그대로 모방하는 대신 그에 대한 보정 항을 학습하기 때문에, KINN는 데이터 의존도를 감소시키고 성능 하한선을 확보하며, 전문가 예측이 노이즈가 많거나 잘못되었을 경우에도 강건하게 유지되며, 교통 흐름 예측에서 단독으로 사용되는 모델들보다 우수한 성능을 발휘한다.

ABSTRACT

The promise of ANNs to automatically discover and extract useful features/patterns from data without dwelling on domain expertise although seems highly promising but comes at the cost of high reliance on large amount of accurately labeled data, which is often hard to acquire and formulate especially in time-series domains like anomaly detection, natural disaster management, predictive maintenance and healthcare. As these networks completely rely on data and ignore a very important modality i.e. expert, they are unable to harvest any benefit from the expert knowledge, which in many cases is very useful. In this paper, we try to bridge the gap between these data driven and expert knowledge based systems by introducing a novel framework for incorporating expert knowledge into the network (KINN). Integrating expert knowledge into the network has three key advantages: (a) Reduction in the amount of data needed to train the model, (b) provision of a lower bound on the performance of the resulting classifier by obtaining the best of both worlds, and (c) improved convergence of model parameters (model converges in smaller number of epochs). Although experts are extremely good in solving different tasks, there are some trends and patterns, which are usually hidden only in the data. Therefore, KINN employs a novel residual knowledge incorporation scheme, which can automatically determine the quality of the predictions made by the expert and rectify it accordingly by learning the trends/patterns from data. Specifically, the method tries to use information contained in one modality to complement information missed by the other. We evaluated KINN on a real world traffic flow prediction problem. KINN significantly superseded performance of both the expert and as well as the base network (LSTM in this case) when evaluated in isolation, highlighting its superiority for the task.

연구 동기 및 목표

• 의료 및 이상 탐지와 같이 레이블이 부족한 도메인에서 딥 뉴럴 네트워크의 높은 데이터 의존도를 해결하기 위해.
• 데이터 기반 딥 러닝과 전문 지식 기반 시스템 간 격차를 해소하기 위해 두 모odal의 유의미한 융합을 가능하게 하기 위해.
• 전문가 예측이 신뢰할 수 없거나 노이즈가 많을 경우에도 성능을 유지할 수 있는 프레임워크를 개발하기 위해.
• 전문가 모델과 신경망의 강점을 조합하여 성능 하한선을 제공하기 위해.
• 정확도를 희생시키지 않고도 지식 통합 학습을 통해 학습 시간과 데이터 요구량을 줄이기 위해.

제안 방법

• KINN는 신경망이 전문가 예측의 보정 항을 학습하는 잔차 학습 기반 방식을 사용하며, 전체 입력-출력 매핑을 학습하는 것이 아니라 전문가 출력의 보정을 학습한다.
• 모델은 원본 입력과 전문가 예측을 모두 입력으로 받으며, 전문가 예측은 네트워크의 별도 채널로 입력된다.
• 최종 예측은 전문가 예측과 신경망이 학습한 잔차의 합으로 계산된다: $\hat{x}_t = \phi([x_{t-1},...,x_{t-p}, \hat{x}^p_t]; \mathcal{W}) + \text{residual}$.
• 신경망은 평균 제곱오차(MSE) 손실을 사용하여 엔드 투 엔드로 훈련되며, 이로 인해 신뢰할 수 없는 전문가 입력에 대해 낮은 가중치를 자동으로 배정함으로써 이를 억제할 수 있다.
• 이 프레임워크는 탄력적이며 높은 품질의 전문가 예측을 전제로 하지 않아, 전문 지식이 열 劣할 경우 데이터 기반 학습으로 자동으로 대체할 수 있다.
• 아키텍처는 LSTM을 기본 네트워크로 사용하여 실세계의 교통 흐름 예측 과제에서 평가되었으며, 데이터 부족과 전문가 예측 품질에 대한 아블레이션 연구가 수행되었다.

실험 결과

연구 질문

• RQ1 전문 지식이 딥 뉴럴 네트워크에 효과적으로 통합되어 대량의 레이블된 데이터셋에 대한 의존도를 줄일 수 있는가?
• RQ2 전문가 예측의 잔차 보정을 학습하는 것과 그 예측을 그대로 모방하는 것 중에서 신경망의 성능에 어떤 영향을 미치는가?
• RQ3 전문가 예측이 노이즈가 많거나 잘못되었거나 전혀 정보가 없을 경우 어떤 일이 발생하는가?
• RQ4 통합 프레임워크가 전문가 모델과 신경망 예측 중 최고 성능을 기반으로 성능 하한선을 제공할 수 있는가?
• RQ5 데이터 부족 조건에서 잔차 지식 통합 전략이 수렴 속도와 일반화 능력을 향상시키는가?

주요 결과

• KINN는 교통 흐름 예측에서 단독 LSTM 및 전문가 모델보다 뚜렷이 뛰어난 성능을 보이며, 전체적으로 최고의 성능을 달성했다.
• 훈련 데이터의 10%만으로도 KINN는 강력한 계절적 패턴 덕분에 안정적인 성능을 유지했으며, 이는 데이터 효율성을 입증한다.
• 전문가 예측이 노이즈가 많거나 0일 경우 KINN의 성능은 단독 LSTM과 동일했으며, 이는 유용하지 않은 전문가 입력을 효과적으로 무시할 수 있음을 증명한다.
• 지연된 전문가 예측의 경우 네트워크가 전문가 채널에 대해 무시할 만큼 낮은 가중치를 배정함으로써, 기존의 표준 훈련 방식으로 효과적으로 복귀했다.
• KINN의 MSE는 항상 두 개의 개별 모델(LSTM 또는 전문가) 중 최고 성능 모델의 성능을 초과하지 않았으며, 이는 양쪽의 장점을 모두 취한다는 것을 확인한다.
• KINN는 수렴 속도 향상과 강건성 향상을 달성했으며, 특히 데이터 부족 및 전문가 예측 품질이 열 劣한 조건에서 이는 잔차 통합 전략의 타당성을 입증한다.