[논문 리뷰] HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep Neural Networks

Yuanyuan Chen, Boyang Li외 3명|arXiv (Cornell University)|2021. 02. 04.

Adversarial Robustness in Machine Learning참고 문헌 3인용 수 4

한 줄 요약

HYDRA는 히스체인을 사용하지 않고도 전체 최적화 궤적을 통해 훈련 데이터의 영향을 추적함으로써 딥 네ural 네트워크 예측을 해석하기 위한 초기계 기반 방법을 제안한다. 이는 근사 오차가 유한함을 유지하면서도 히스체인에 의존하지 않으며, 데이터 기여도 추정과 노이즈 있는 레이블 탐지에서 영향 함수보다 뛰어나며, GPU 하드웨어에서 971배 빠른 속도 향상을 보인다.

ABSTRACT

The behaviors of deep neural networks (DNNs) are notoriously resistant to human interpretations. In this paper, we propose Hypergradient Data Relevance Analysis, or HYDRA, which interprets the predictions made by DNNs as effects of their training data. Existing approaches generally estimate data contributions around the final model parameters and ignore how the training data shape the optimization trajectory. By unrolling the hypergradient of test loss w.r.t. the weights of training data, HYDRA assesses the contribution of training data toward test data points throughout the training trajectory. In order to accelerate computation, we remove the Hessian from the calculation and prove that, under moderate conditions, the approximation error is bounded. Corroborating this theoretical claim, empirical results indicate the error is indeed small. In addition, we quantitatively demonstrate that HYDRA outperforms influence functions in accurately estimating data contribution and detecting noisy data labels. The source code is available at https://github.com/cyyever/aaai_hydra_8686.

연구 동기 및 목표

• 딥 네ural 네트워크의 투명성 부족 문제를 해결하기 위해 모델 예측을 훈련 데이터에 기여도를 부여하기 위해.
• 영향 함수의 한계를 극복하기 위해, 최종 모델 파rameter 근처에서만 데이터 영향을 분석하고 계산 비용이 높은 히스체인 행렬에 의존하는 방식을 피하기 위해.
• 전체 훈련 궤적을 거쳐 데이터 영향을 추적할 수 있는 확장 가능한, 히스체인을 포함하지 않는 방법을 개발하기 위해.
• 초기계 계산에서 히스체인을 제거할 경우 발생하는 근사 오차의 이론적 경계를 도출하기 위해.
• 실증적으로 히스체인을 포함하지 않는 HYDRA 방법이 영향 함수보다 데이터 기여도 추정과 노이즈 있는 레이블 탐지에서 더 높은 정확도와 효율성을 달성하는지 검증하기 위해.

제안 방법

• HYDRA는 전체 최적화 궤적을 전개하여 테스트 손실이 훈련 데이터 가중치에 대해 초기계를 계산한다.
• 모든 훈련 단계를 통해 테스트 손실의 기울기를 전파하기 위해 재귀적 공식을 사용하여, 데이터 가중치의 변화가 모델 수렴 경로에 어떻게 영향을 주는지 캡처한다.
• 히스체인 대신 리프시츠 기반 근사치를 사용하며, 온건한 조건 하에서 근사 오차가 유한함을 증명한다.
• 학습률 감쇠와 히스체인 수렴에 대한 가정을 사용하여 오차의 이론적 상한을 유도한다.
• 미니배치 훈련에 적합하게 배치 지표를 통합하고 기울기 업데이트를 적절히 수정함으로써 알고리즘을 변형한다.
• 실제로는 히스체인을 생략하고, 이 방법이 히스체인 인식 측정치와 높은 상관관계를 유지함을 보였다.

실험 결과

연구 질문

• RQ1 전체 훈련 궤적을 추적하는 초기계 기반의 데이터 중요도 분석이 국소적 영향 함수보다 훈련 데이터 기여도 추정에서 더 나은 성능을 보일 수 있는가?
• RQ2 초기계 계산에서 히스체인을 제거할 경우 이론적으로 어떤 영향을 미치며, 그로 인한 오차는 경계가 가능한가?
• RQ3 HYDRA에서 히스체인을 포함하지 않는 근사치는 영향 함수 기반 방법에 비해 빠른 속도 향상을 달성하면서도 높은 정확도를 유지하는가?
• RQ4 노이즈 있는 레이블을 가진 데이터 포인트 탐지에서 HYDRA는 영향 함수보다 어떻게 비교되는가?
• RQ5 모델 크기와 추적 대상 샘플 수가 증가함에 따라 히스체인을 포함하지 않는 HYDRA 방법은 효율적으로 확장 가능한가?

주요 결과

• 2장의 Titan X Pascal GPU에서 HYDRA는 히스체인 인식 방법 대비 벽시계 실행 시간을 971배 단축시켰다.
• 히스체인을 포함하지 않는 근사치는 히스체인 인식 측정치 대비 11%에서 16% 더 높은 오차를 유발하지만, 영향 함수는 히스체인 인식 기준 기준으로 11%에서 16% 더 높은 오차를 유발한다.
• HYDRA는 영향 함수보다 히스체인 인식 데이터 영향 추정치와 더 높은 상관관계를 보였다.
• 노이즈 있는 레이블을 가진 데이터 포인트 탐지에서 영향 함수보다 뛰어난 성능을 보였다.
• 이론적 분석을 통해 근사 오차가 경계되어 있음을 입증하였으며, 지수적 학습률 감쇠 조건 하에서는 훈련이 진행됨에 따라 오차가 0으로 수렴함을 보였다.
• 히스체인을 생략하더라도 HYDRA는 표준 최적화 조건 하에서 오차 경계가 증명 가능하게 제어됨을 유지하며 뛰어난 성능을 보였다.