[논문 리뷰] Attribution Preservation in Network Compression for Reliable Network Interpretation

Geondo Park, June Yong Yang외 2명|arXiv (Cornell University)|2020. 10. 28.

Advanced Graph Neural Networks참고 문헌 29인용 수 6

한 줄 요약

이 논문은 기존의 전체 신경망과 압축된 신경망 간의 입력 기여도 맵이 거의 동일하게 유지되도록 보장하는 새로운 기여도 인식 네트워크 압축 프레임워크를 제안한다. 이는 가중치가 부여된 붕괴된 기여도 매칭 정규화 항을 도입하여 이루어지며, 이는 예측 정확도를 유지하면서도 기여도 왜곡을 크게 감소시킨다. 다양한 압축 기법과 기여도 분석 방법을 사용한 벤치마크 데이터셋에서의 검증을 통해 그 효과가 입증되었다.

ABSTRACT

Neural networks embedded in safety-sensitive applications such as self-driving cars and wearable health monitors rely on two important techniques: input attribution for hindsight analysis and network compression to reduce its size for edge-computing. In this paper, we show that these seemingly unrelated techniques conflict with each other as network compression deforms the produced attributions, which could lead to dire consequences for mission-critical applications. This phenomenon arises due to the fact that conventional network compression methods only preserve the predictions of the network while ignoring the quality of the attributions. To combat the attribution inconsistency problem, we present a framework that can preserve the attributions while compressing a network. By employing the Weighted Collapsed Attribution Matching regularizer, we match the attribution maps of the network being compressed to its pre-compression former self. We demonstrate the effectiveness of our algorithm both quantitatively and qualitatively on diverse compression methods.

연구 동기 및 목표

• 압축된 딥 네트워크에서 기여도 왜곡이라는 핵심 문제를 특정하고 이를 해결함으로써, 안전 중심 응용 분야에서 모델 신뢰도를 떨어뜨리는 요인을 제거한다.
• 기존의 네트워크 압축 기법이 예측 성능는 유지하더라도 기여도 품질을 떨어뜨린다는 것을 입증한다.
• 모델 효율성과 예측 정확도를 희생시키지 않고도 기여도 맵을 압축 과정 동안 유지하는 통합 프레임워크를 개발한다.
• 제안된 방법의 효과성을 다양한 압축 기법(자기정규화, 딥 라이팅)과 기여도 분석 기법(Grad-CAM, LRP, Excitation Backprop, RAP)에 걸쳐 검증한다.

제안 방법

• 압축된 네트워크의 기여도 맵을 원본 전체 네트워크(선생 모델)의 기여도 맵과 일치시키는 가중치가 부여된 붕괴된 기여도 매칭 정규화 항을 도입한다.
• 이 정규화 항은 학생(압축된) 네트워크와 선생(원본) 네트워크의 기여도 맵 간의 L2 거리를 최소화하여, 공간적 대응과 피크 위치 정렬에 중점을 둔다.
• 이 정규화 항을 학습 목표에 통합함으로써, 지식 정규화 및 구조적/비구조적 프루닝을 포함한 다양한 압축 기법과 호환 가능하다.
• 이 프레임워크는 엔드 투 엔드로 훈련되어, 압축된 네트워크가 정확한 예측과 충실한 기여도를 동시에 학습할 수 있도록 한다.
• 기반 기반 기여도 분석 방법이 아닌 경우에도 효과적이며, 결정 핵심 영역을 대체로 기반으로 하는 기반 기반 기여도 맵을 활용하여 기여도를 추정한다.
• 기여도 정렬 품질을 정량화하기 위해 AUC 및 포인트 정확도 지표를 사용하여 지표 세그멘테이션과의 상대적 정밀도를 평가한다.

실험 결과

연구 질문

• RQ1 예측 정확도가 유지되는 동안에도 네트워크 압축이 입력 기여도의 품질을 떨어뜨리는가?
• RQ2 지식 정규화 및 프루닝과 같은 다양한 압축 기법에 걸쳐 기여도를 유지할 수 있는 통합 정규화 항을 설계할 수 있는가?
• RQ3 제안된 방법은 기존의 압축 기법에 비해 기여도 정렬 정밀도를 어느 정도 향상시키는가?
• RQ4 비기울기 기반 기여도 분석 방법(예: LRP, Excitation Backprop)에도 기여도 유지 이점이 적용되는가?

주요 결과

• 제안된 방법을 사용한 지식 정규화에서는 AUC 88.06, 포인트 정확도 79.12를 기록하여, 단순한 정규화 기법(78.74 AUC, 67.26 포인트 정확도)보다 유의미하게 높은 성능을 보였다.
• 구조적 프루닝의 경우 AUC는 79.98에서 82.15로, 포인트 정확도는 75.29에서 77.43으로 향상되어 일관된 개선 효과를 입증했다.
• Grad-CAM(AUC: 88.06 vs. 78.74), LRP(AUC: 82.46 vs. 79.60), RAP(AUC: 83.53 vs. 80.85) 등 다양한 기여도 분석 방법에 대해 제안된 방법이 기여도 품질을 유지함을 확인했다.
• LRP 및 Excitation Backprop와 같이 비미분 가능한 방법에 대해서도 기여도 품질이 유의미하게 향상되어, 정규화 항의 일반화 능력을 입증했다.
• 정성적 분석에서 제안된 방법의 기여도 맵은 선생 모델의 맵과 가장 유사했으며, 피크 기여도가 세그멘테이션 경계 내에 유지되는 것으로 확인되었다.
• 모든 평가 설정에서 AUC 및 포인트 정확도가 일관되게 향상되어, 기여도 왜곡이 효과적으로 감소함을 입증했다.