[논문 리뷰] "I know it when I see it". Visualization and Intuitive Interpretability

Fabian Offert|arXiv (Cornell University)|2017. 11. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 5

한 줄 요약

이 논문은 기계학습에서 직관적 해석 가능성의 근본적 한계가 차원 축소와 정규화에 의존하는 시각화 기법에 기인해 있다는 점을 주장한다. 이러한 기법들은 비개념(추상적이고 분산된 의미 상태)을 긍정적이고 자연스러운 이미지 표현으로 대체함으로써 인간의 편향을 유도한다. 주요 기여는 이러한 시각화가 모델 의미를 왜곡하는 방식, 특히 '노포르노그래피'와 같은 비개념을 표현할 때 나타나는 방식을 드러내며, 단일한 오해를 낳는 시각화 대신 다각적이고 다중 이미지 표현 방식을 주장하는 데 있다.

ABSTRACT

Most research on the interpretability of machine learning systems focuses on the development of a more rigorous notion of interpretability. I suggest that a better understanding of the deficiencies of the intuitive notion of interpretability is needed as well. I show that visualization enables but also impedes intuitive interpretability, as it presupposes two levels of technical pre-interpretation: dimensionality reduction and regularization. Furthermore, I argue that the use of positive concepts to emulate the distributed semantic structure of machine learning models introduces a significant human bias into the model. As a consequence, I suggest that, if intuitive interpretability is needed, singular representations of internal model states should be avoided.

연구 동기 및 목표

• 기계학습에서 직관적 해석 가능성의 철학적 및 기술적 한계를 조사하는 것.
• 차원 축소와 정규화와 같은 시각화 기법이 모델 내부 상태를 사전에 해석하는 방식을 분석하는 것.
• 비개념(예: '노포르노그래피')이 긍정적인 시각적 개념으로 표현될 때 인간의 미학적 편향이 어떻게 유도되는지 드러내는 것.
• 내부 모델 상태의 단일 시각화가 본질적으로 오해의 소지가 있으며, 이를 다각적 표현 방식으로 대체해야 한다고 주장하는 것.
• 분산된 의미적 구조를 고립된 해석 가능한 이미지로 표현할 경우 발생하는 결과를 강조하는 것.

제안 방법

• 뉴런 활성화를 최대화하는 데 목적이 있는 시각화 방법으로서 활성화 최대화(activation maximization) 분석.
• 고차원 모델 상태를 인간의 인지에 적합한 2차원 또는 3차원으로 투영하기 위해 차원 축소 기법 적용.
• 추상적 활성화에서 자연 이미지 사전을 활용해 '자연스러운' 사전 이미지를 생성하기 위해 정규화 기법 사용.
• 생성적 적대 기반 네트워크(GANs)를 활용해 시각화 출력의 다양성과 현실감을 향상시키기.
• 비포지티브 개념(예: '노NSFW')이 어떻게 긍정적이고 평화로운 풍경으로 표현되는지 보여주기 위해 open_nsfw 모델 분석.
• 분산된 의미적 구조를 비개념으로 간주하고, 단일 표현이 불가능한 특성을 갖는다는 점을 다리다의 '차이르앙(déjànt)' 개념을 기반으로 프레임워크화.

실험 결과

연구 질문

• RQ1 기계학습에서의 시각화가 차원 축소와 정규화를 통해 모델 상태를 암묵적으로 사전 해석하는 방식은 무엇인가?
• RQ2 왜 비개념(예: '노포르노그래피')을 기계학습 모델에서 직관적으로 표현하는 것이 문제인가?
• RQ3 비개념을 긍정적인 시각적 개념으로 표현할 경우 인간의 미학적 편향이 모델의 해석 가능성에 얼마나 깊이 침투하는가?
• RQ4 워드 임베딩과 같은 모델에서의 분산된 의미적 구조는 어떻게 단일 개념 기반의 해석에 저항하는가?
• RQ5 신경망 내 복잡한 비개념적 내부 상태를 단일 시각화로 표현할 경우 발생하는 결과는 무엇인가?

주요 결과

• 기계학습 모델의 시각화는 두 수준의 사전 해석이 필요하다: 차원 축소와 정규화로, 이는 원래의 고차원적이고 비개념적인 상태를 왜곡한다.
• 정규화 없이 활성화 최대화 기법을 사용할 경우 노이즈나 비논리적인 패턴이 자주 생성되며, 이에 따라 해석 가능한 출력을 얻기 위해 자연 이미지 사전을 활용한 정규화가 필수적이다.
• 최종적으로 생성된 시각화는 모델 내부의 직접적 표현이 아니라 인간의 미학적 가정에 의해 형성된 것으로, 예를 들어 '노포르노그래피'를 평화로운 농경 풍경으로 표현하는 식이다.
• open_nsfw 사례 연구를 통해 모델의 'SFW'(업무에 안전한) 개념이 부정적으로 정의되었음에도 불구하고, 실제로는 긍정적인 시각적 개념으로서의 평화로운 풍경으로 암묵적으로 학습된 것으로 드러났다.
• 워드 임베딩과 같은 모델에서의 분산된 의미적 구조는 해답이 본질적으로 관계적이고 비개념적이므로, 단일한 명확한 개념으로 환원될 수 없다.
• 내부 상태의 단일 시각화 방식은 비개념의 진정한 본질을 포착하는 데 부적절하며, 다각적이고 다면적인 시각화 방식이 필수적인 대안이 되어야 한다.