[논문 리뷰] Interpreting Expert Annotation Differences in Animal Behavior

Megan Tjandrasuwita, Jennifer J. Sun외 3명|arXiv (Cornell University)|2021. 06. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 9

한 줄 요약

이 논문은 동물 행동 영상에서 전문가의 애너테이션 스타일을 해석 가능한 기호 모델로 학습하는 프로그램 합성 접근법을 제안한다. 이 방법은 관련 궤적 특징을 동시에 선택하고, 전문가가 시간에 따라 특징을 어떻게 가중치를 두는지를 반영하는 시간적 필터를 학습한다. 이 방법은 정확도와 해석 가능성에서 베이스라인을 초월하며, 학습된 필터를 통해 전문가들이 행동을 어떻게 다르게 레이블링하는지 명확하게 시각화할 수 있어 신경과학 연구의 재현 가능성을 향상시킨다.

ABSTRACT

Hand-annotated data can vary due to factors such as subjective differences, intra-rater variability, and differing annotator expertise. We study annotations from different experts who labelled the same behavior classes on a set of animal behavior videos, and observe a variation in annotation styles. We propose a new method using program synthesis to help interpret annotation differences for behavior analysis. Our model selects relevant trajectory features and learns a temporal filter as part of a program, which corresponds to estimated importance an annotator places on that feature at each timestamp. Our experiments on a dataset from behavioral neuroscience demonstrate that compared to baseline approaches, our method is more accurate at capturing annotator labels and learns interpretable temporal filters. We believe that our method can lead to greater reproducibility of behavior annotations used in scientific studies. We plan to release our code.

연구 동기 및 목표

• 신경과학에서 재현 가능성을 해치는 행동 레이블링의 이면 애너테이터 간 변동성을 해결하기 위해.
• 후행 모델 설명에 의존하지 않고 전문가 애너테이션의 차이를 해석할 수 있는 방법을 개발하기 위해.
• 전문가가 시간에 따라 운동 특징을 어떻게 가중치를 두는지를 반영하는 기호적이고 해석 가능한 애너테이션 행동 모델을 만들기 위해.
• 기존 도메인 도구(예: Bento)와 통합하여 신경과학자들이 실질적으로 활용할 수 있도록 하기 위해.
• 블랙박스 모델(예: 1D CNNs 또는 决定트리)에 비해 데이터 효율성과 모델의 해석 가능성 향상을 위해.

제안 방법

• 행동 분류를 위해 특징 선택과 학습 가능한 시간 필터를 조합하는 도메인 특화 언어(DSL)를 학습하기 위해 프로그램 합성을 사용한다.
• 각 애너테이터의 스타일을 프로그램(α, θ)으로 모델링하며, α는 아키텍처를 정의하고 θ는 매개변수를 정의한다. 이는 예측 오차와 구조적 복잡성 간의 트레이드오프를 통해 최적화된다.
• 프로그램 아키텍처에 대한 상향식 탐색을 적용하며, 프로그램 구조와 매개변수를 동시에 최적화하기 위해 미분 가능한 탐색 전략을 사용한다.
• 타겟 프레임 주변에서 시간에 따라 특징을 비대칭적이고 부드럽게 가중치를 두는 것을 가능하게 하기 위해 두 개의 필터 조합을 통해 시간 필터링을 통합한다.
• 정확도(F1 스코어)와 모델 단순성(구조적 비용 s(α)) 간의 균형을 맞추는 손실 함수를 사용하여, 더 해석 가능한 프로그램을 선호한다.
• 도메인 특화 도구인 Bento에서 학습된 필터를 시각화하여 전문가의 해석과 검증을 지원한다.

실험 결과

연구 질문

• RQ1 간단한 레이블 일치를 넘어서 전문가의 동물 행동 애너테이션 차이를 자동으로 해석할 수 있는 방법은 무엇인가?
• RQ2 프로그램 합성은 전문가가 시간에 따라 운동 특징을 어떻게 가중치를 두는지를 반영하는 해석 가능한 기호 모델을 생성할 수 있는가?
• RQ3 행동 신경과학의 맥락에서 학습된 모델의 해석 가능성은 블랙박스 모델(예: 1D CNNs)과 간단한 모델(예: 결정 트리)에 비해 어떻게 비교되는가?
• RQ4 제안된 방법이 다양한 애너테이터에서 데이터 효율성과 성능 향상에 얼마나 기여하는가?
• RQ5 학습된 모델은 기존 신경과학 도구를 통해 도메인 전문가가 효과적으로 시각화하고 검증할 수 있는가?

주요 결과

• 제안된 방법은 테스트된 모든 모델 중에서 상호작용 행동 탐지에서 가장 높은 F1 스코어를 기록했으며, 단일 필터 프로그램보다 우수했고, 얕은 결정 트리와 동등한 성능을 보였다.
• 공격성 탐지에서는 디시전 트리의 깊이가 얕을수록 과적합이 줄어들어 더 정확한 결과를 보였으며, 이는 디시전 트리의 성능이 단일 깊이의 결정 트리와 유사하게 유지됨을 의미한다.
• 이 방법은 특히 상호작용 대 기타 작업에서 뛰어난 데이터 효율성을 보였으며, 제한된 훈련 데이터 조건에서도 높은 성능을 유지했다.
• 학습된 시간 필터는 예측 프레임 주변에서 부드럽고 비대칭적이며, 신경망 필터의 노이즈나 결정 트리의 암묵적 임계값보다 전문가가 이해하기 쉬운 방식으로 표현되었다.
• 기존의 베이스라인 모델에 비해 성능 변동성이 감소했으며, 1D CNNs나 Morlet 필터와 유사하거나 더 뛰어난 안정성을 확보했다.
• Bento와의 통합을 통해 학습된 필터를 직접 시각화할 수 있었으며, 도메인 전문가들이 기호 프로그램이 행동 분석에 대해 정성적으로 해석 가능하다고 확인했다.