[논문 리뷰] Ordinal Neural Network Transformation Models: Deep and interpretable regression models for ordinal outcomes.

Lucas Kook, Lisa Herzog외 3명|arXiv (Cornell University)|2020. 10. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 3

한 줄 요약

ONTRAMs는 이미지 및 표본 데이터를 위한 신경망과 전통적인 순서형 회귀를 결합한 딥러닝 모델로, 순서형 결과에 대해 해석 가능하고 높은 성능을 보이는 회귀를 가능하게 한다. 이미지 및 표본 입력에 대한 별도의 신경망 구성 요소로 변환 함수를 분해함으로써 ONTRAMs는 최첨단 성능을 달성하면서도 설명 가능성과 학습 효율성을 유지한다.

ABSTRACT

Outcomes with a natural order commonly occur in prediction tasks and oftentimes the available input data are a mixture of complex data, like images, and tabular predictors. Deep Learning (DL) methods are state-of-the-art for image classification tasks but frequently treat ordinal outcomes as unordered and lack interpretability. In contrast, classical ordinal regression models consider the outcome's order and yield interpretable predictor effects but are limited to tabular data. We present ordinal neural network transformation models (ONTRAMs), which unite DL with classical ordinal regression methods. ONTRAMs are a special case of transformation models and trade off flexibility and interpretability by additively decomposing the transformation function into terms for image and tabular data using jointly trained neural networks. We discuss how to interpret model components for both tabular and image data. The proposed ONTRAMs achieve on-par performance with common DL models while being directly interpretable and more efficient in training.

연구 동기 및 목표

• 혼합 데이터 환경에서 순서형 결과에 대한 설명 가능한 딥러닝 모델의 부족을 해결하기 위해.
• 딥러닝의 유연성과 전통적 순서형 회귀의 해석 가능성 사이의 격차를 메우기 위해.
• 순서형 결과의 순서 구조를 유지하면서 이미지 및 표본 예측자 간의 공동 학습을 가능하게 하기 위해.
• 표준 딥러닝 모델과 유사한 학습 효율성과 성능을 유지하는 모델을 개발하기 위해.
• 순서형 회귀에서 이미지 및 표본 예측자에 대한 구성 요소별 효과를 설명 가능한 방식으로 제공하기 위해.

제안 방법

• ONTRAMs는 이미지 및 표본 데이터에 대한 추가 성분으로 변환 함수를 분해하는 특수한 변환 모델의 경우이다.
• 이미지 및 표본 데이터는 각각 별도로 학습되며, 상호 연동된 신경망을 통해 데이터 특화된 표현을 학습한다.
• 모델은 누적 링크 함수를 사용하여 순서형 결과를 모델링하여 응답 카테고리의 자연스러운 순서가 유지되도록 한다.
• 학습된 변환 성분에 대한 부분 의존도 또는 기울기 기반 방법을 통해 개별 입력 특징의 기여도를 분석함으로써 설명 가능성을 확보한다.
• 변환 함수는 최대우도법을 통해 추정되며, 이미지 및 표본 브랜치 간 공유 최적화가 이루어진다.
• 모델은 예측자 효과의 덧셈적 분해를 허용하여 순서형 결과에 대한 개별 특징 기여도를 해석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 순서형 결과를 모델링하면서도 설명 가능성을 유지할 수 있는가?
• RQ2 성능이나 설명 가능성을 희생시키지 않고 이미지 및 표본 데이터를 순서형 회귀에서 공동으로 모델링할 수 있는가?
• RQ3 ONTRAMs는 표준 딥러닝 모델과 유사한 성능을 얼마나 잘 달성할 수 있는가?
• RQ4 ONTRAMs가 학습한 구성 요소는 이미지 및 표본 입력에 대한 예측자 효과를 의미 있게 해석하는 데 어떻게 기여하는가?
• RQ5 ONTRAMs의 학습 효율성은 표준 딥러닝 아키텍처와 유사한가?

주요 결과

• ONTRAMs는 혼합된 이미지 및 표본 데이터를 포함한 순서형 예측 작업에서 표준 딥러닝 모델과 유사한 성능을 달성한다.
• 모델은 높은 학습 효율성을 유지하며, 많은 복잡한 딥러닝 기준 모델보다 학습 속도에서 앞선다.
• 변환 함수의 구성 요소별 분석을 통해 설명 가능성이 유지되어 이미지 및 표본 입력에 대한 특징 기여도를 명확히 해석할 수 있다.
• 변환 함수의 덧셈적 분해 덕분에 순서형 결과에 대한 개별 예측자 기여도를 의미 있게 해석할 수 있다.
• ONTRAMs는 복잡한 데이터 유형인 이미지와 표본 특징을 처리하면서도 순서형 결과의 자연스러운 순서를 효과적으로 모델링한다.
• 이미지 및 표본 신경망의 공동 학습은 모델의 설명 가능성에 손상을 주지 않으면서 공유 표현 학습을 가능하게 한다.