[논문 리뷰] Adding Quaternion Representations to Attention Networks for Classification.

Nazmul Shahadat, Anthony S. Maida|arXiv (Cornell University)|2021. 10. 04.

Advanced Memory and Neural Computing참고 문헌 13인용 수 5

한 줄 요약

이 논문은 입력 모듈에 허수수 표현을 통합하여 축 방향 어텐션 네트워크의 성능을 향상시켜 이미지 분류 성능을 개선하는 방법을 제안한다. 허수수 인코딩의 네 채널에 걸친 가중치 공유 특성을 활용함으로써, 더 상호 연결된 특징 표현을 생성하여 표준 축 방향 어텐션 네트워크에 비해 분류 정확도가 향상된다.

ABSTRACT

This paper introduces a novel modification to axial-attention networks to improve their image classification accuracy. The modification involves supplementing axial-attention modules with quaternion input representations to improve image classification accuracy. We chose axial-attention networks because they factor 2D attention operations into two consecutive 1D operations (similar to separable convolution) and are thus less resource intensive than non-axial attention networks. We chose a quaternion encoder because of they share weights across four real-valued input channels and the weight-sharing has been shown to produce a more interlinked/interwoven output representation. We hypothesize that an attention module can be more effective using these interlinked representations as input. Our experiments support this hypothesis as reflected in the improved classification accuracy compared to standard axial-attention networks. We think this happens because the attention modules have better input representations to work with.

연구 동기 및 목표

• 허수수 기반 입력 인코딩을 도입하여 축 방향 어텐션 네트워크의 표현 능력을 이미지 분류에 있어 향상시키기.
• 더 풍부한 입력 표현을 통해 표준 축 방향 어텐션 모듈이 복잡한 공간적 종속성을 포착하는 데 한계를 극복하기.
• 허수수 네트워크의 본질적 가중치 공유 특성을 활용하여 더 얽히고 센 특징 맵을 생성하기.
• 어텐션 메커니즘이 허수수로 인코딩된 입력을 통해 분류 성능 향상에 기여하는지 조사하기.
• 향상된 입력 표현이 계산 비용을 크게 증가시키지 않으면서도 어텐션 모듈의 성능 향상에 기여함을 보여주기.

제안 방법

• 표준 2D 합성곱 또는 어텐션 입력 레이어를 대체하여 축 방향 어텐션 네트워크의 초기 입력 전처리로 허수수 인코더를 통합하기.
• 네 실수값 입력 채널을 동시에 처리하기 위해 허수수 연산을 사용하여 모든 네 채널에 걸쳐 가중치를 공유함으로써 특징의 상호의존성을 강화하기.
• 높이 및 너비 방향으로 순차적인 1D 연산으로 2D 자기어텐션을 분해함으로써 축 방향 어텐션 메커니즘의 효율성을 유지하기.
• 전체 2D 어텐션 계산을 피하는 방식으로 축 방향 어텐션의 계산적 이점을 유지하면서도, 허수수 인코딩을 통해 입력 표현을 풍부하게 하기.
• 표준 이미지 분류 벤치마크에서 전체 네트워크를 엔드 투 엔드로 훈련하여 성능 향상을 평가하기.
• 어 attention 계산 이전에 입력 단계에서만 허수수 연산을 적용함으로써 기존 축 방향 어텐션 프레임워크와의 호환성 확보하기.

실험 결과

연구 질문

• RQ1 허수수 표현은 축 방향 어텐션 네트워크의 이미지 분류 작업 성능을 향상시킬 수 있는가?
• RQ2 허수수 인코더의 가중치 공유 특성은 표준 실수값 입력에 비해 더 효과적인 어텐션 표현을 만들어내는가?
• RQ3 허수수 출력의 상호 연결된 성격이 어텐션 모듈 학습에 어느 정도 기여하는가?
• RQ4 허수수 입력으로 인한 성능 향상은 더 나은 특징 표현 때문인가, 아님 구조적 변화 때문인가?
• RQ5 허수수 통합이 축 방향 어텐션의 효율성을 유지하면서도 정확도 향상에 기여하는가?

주요 결과

• 제안된 허수수 강화 축 방향 어텐션 네트워크는 표준 축 방향 어텐션 기준선에 비해 더 높은 이미지 분류 정확도를 달성한다.
• 성능 향상은 허수수 인코더가 생성하는 더 상호 연결되고 일관성 있는 특징 표현 덕분으로 기인한다.
• 전체 2D 어텐션 계산을 피하는 방식으로 축 방향 어텐션의 계산적 효율성을 유지한다.
• 어텐션 모듈은 더 풍부한 입력 표현에서 크게 이점을 얻었으며, 더 나은 입력이 더 나은 어텐션 결과를 만들어낸다는 가설을 검증한다.
• 허수수의 가중치 공유 특성은 분류 과제에서 더 견고하고 일반화 능력 있는 특징 학습에 기여한다.
• 실증 결과는 성능 향상이 구조적 변경 외에도 입력 표현의 품질 때문임을 확인한다.