[논문 리뷰] Promises and Pitfalls of Black-Box Concept Learning Models

Anita Mahinpei, Justin Clark외 3명|arXiv (Cornell University)|2021. 06. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 20

한 줄 요약

이 논문은 블랙박스 개념학습모델(CLMs)의 소프트 개념 표현에서 의도한 개념 외의 정보가 泄露되어 해석 가능성에 손상을 주며, 임의의 조치 전략(예: 작업 막힘 학습 및 개념 화이트닝)이 적용된 경우에도 여전히 문제가 된다고 밝힌다. 저자들은 AUC와 같은 표준 순도 지표가 부족하다는 것을 입증하고, 잔류 상관관계로 인해 후행 모델이 특성 중요도를 잘못 기여한다는 점을 보여주기 위해 개선된 평가 방법을 제안한다.

ABSTRACT

Machine learning models that incorporate concept learning as an intermediate step in their decision making process can match the performance of black-box predictive models while retaining the ability to explain outcomes in human understandable terms. However, we demonstrate that the concept representations learned by these models encode information beyond the pre-defined concepts, and that natural mitigation strategies do not fully work, rendering the interpretation of the downstream prediction misleading. We describe the mechanism underlying the information leakage and suggest recourse for mitigating its effects.

연구 동기 및 목표

• 블랙박스 개념학습모델의 소프트 개념 표현에서 정보 泄露의 정도와 메커니즘을 조사하기 위해.
• 작업 막힘 학습, 비지도 차원 추가, 개념 화이트닝과 같은 기존 완화 전략이 외부 정보 泄露를 방지하는 데 얼마나 효과적인지 평가하기 위해.
• 표준 순도 지표인 AUC가 CLMs에서 개념 독립성을 검증하는 데 부적절하다는 것을 입증하기 위해.
• 후행 예측 작업을 통해 잠재 차원에서 정보 泄루를 탐지하는 새로운 평가 프레임워크를 제안하기 위해.
• 개념 표현의 잔류 상관관계로 인해 후행 모델에서 잘못된 해석 위험이 발생할 수 있음을 강조하기 위해.

제안 방법

• 저자들은 소프트 개념 출력(실수값 신뢰도 점수)을 가지는 개념학습모델(CLMs)을 훈련하고, 의도한 개념 외의 정보가 포함되어 있는지 잠재 표현을 분석한다.
• 이전 연구(Chen et al., 2020)와 마찬가지로, 잠재 차원의 단일 활성화 값 기반 AUC 점수를 사용해 개념 순도를 평가한다.
• 개별 잠재 차원을 입력으로 사용해 각 개념을 예측하는 순수도 검사 신경망을 도입하여, 어떤 차원도 높은 정확도로 어떤 개념도 예측할 수 있는지 테스트한다.
• 상관관계 행렬과 코사인 유사도 행렬을 사용해 표준 CNN과 개념 화이트닝(CW) 모델을 비교하여, 차원 간 의존성을 시각화한다.
• 합성 및 실세계 데이터셋(예: 과일 판매 작업 포함)을 적용하여 개념 정제와 정보 泄루가 실제로 어떻게 발생하는지 보여준다.
• CW 모델의 최종 레이어 가중치를 분석하여, 잠재 차원에 혼합된 정보가 존재할 경우 특성 중요도가 잘못 기여될 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 CLMs의 소프트 개념 표현에서 의도한 개념 외의 정보가 얼마나 포함되어 있는가?
• RQ2 왜 작업 막힘 학습 및 개념 화이트닝과 같은 표준 완화 전략이 소프트 표현에서의 정보 泄루를 완전히 제거하지 못하는가?
• RQ3 후행 모델이 전체 활성화 맵을 이용할 수 있을 때, AUC 기반 순도 지표가 CLMs에서 개념 독립성을 신뢰성 있게 탐지할 수 있는가?
• RQ4 숨겨진 정보 泄루는 후행 예측 모델의 특성 중요도 해석에 어떤 영향을 미치는가?
• RQ5 표준 지표가 놓치는 잔류 정보 泄루를 탐지할 수 있는 대체 평가 방법은 무엇인가?

주요 결과

• 개념 화이트닝과 작업 막힘 학습을 적용하더라도, CLMs의 소프트 개념 표현은 여전히 외부 정보를 포함하고 있으며, 특히 후행 모델이 전체 활성화 맵을 사용할 경우 더욱 심각하다.
• 개별 잠재 차원의 AUC 점수가 0.95를 초과하더라도 개념 순도를 보장하지 못하며, 후행 모델은 어떤 차원(비일치된 차원 포함)에서도 95% 이상의 정확도로 개념을 예측할 수 있다.
• 상관관계 행렬과 코사인 유사도 분석을 통해 CW 모델에서도 여전히 유의미한 차원 간 의존성이 존재함을 확인하여 잔류 정보 泄루가 있음을 시사한다.
• 합성 과일 판매 작업에서 원래 개념인 '레몬인지'와 '사과인지'는 예측력이 없지만, 개선된 부분 개념인 '산성 레몬인지'와 '작은 사과인지'는 완벽한 예측력을 확보함을 통해 개념 정제의 가치를 입증한다.
• 후행 모델의 가중치는 잠재 차원에 숨겨진 정보로 인해 잘못된 중요도 기여를 할 수 있다. 예를 들어, 중요도가 동일한 두 개념 중 하나에 0.874의 가중치를 부여하고 다른 하나에 0.056의 가중치를 부여하는 식이다.
• 전체 활성화 맵의 공간적 구조가 정보 泄루를 가능하게 하여 해석 가능성에 악영향을 미치므로, 순수도 평가에 단일 활성화 AUC 점수만 의존하는 것은 부적절하다.