[논문 리뷰] BinaryDemoire: Moiré-Aware Binarization for Image Demoiréing

Zheng Chen, Zhi Yang외 6명|arXiv (Cornell University)|2026. 02. 03.

Advanced Image Processing Techniques인용 수 0

한 줄 요약

BinaryDemoire는 모아레를 인지하는 이진 게이트와 셔플-그룹 잔여 어댑터를 사용하여 파라미터와 계산 절감이 큰 강력한 복원력을 달성하는 이진화된 데모리화 프레임워크로, 벤치마크에서 전체 정밀도 성능에 가깝게 일치합니다.

ABSTRACT

Image demoiréing aims to remove structured moiré artifacts in recaptured imagery, where degradations are highly frequency-dependent and vary across scales and directions. While recent deep networks achieve high-quality restoration, their full-precision designs remain costly for deployment. Binarization offers an extreme compression regime by quantizing both activations and weights to 1-bit. Yet, it has been rarely studied for demoiréing and performs poorly when naively applied. In this work, we propose BinaryDemoire, a binarized demoiréing framework that explicitly accommodates the frequency structure of moiré degradations. First, we introduce a moiré-aware binary gate (MABG) that extracts lightweight frequency descriptors together with activation statistics. It predicts channel-wise gating coefficients to condition the aggregation of binary convolution responses. Second, we design a shuffle-grouped residual adapter (SGRA) that performs structured sparse shortcut alignment. It further integrates interleaved mixing to promote information exchange across different channel partitions. Extensive experiments on four benchmarks demonstrate that the proposed BinaryDemoire surpasses current binarization methods. Code: https://github.com/zhengchen1999/BinaryDemoire.

연구 동기 및 목표

• 모델 크기와 계산량을 이진화로 줄여 이미지 데모리화 분야의 배포 격차를 해소한다.
• 이진화 중 모아레 아티팩트의 주파수 구조적 특성을 존중한다.
• 1비트 연산 하에서 잔류 흐름과 채널 간 상호 작용을 유지하기 위한 메커니즘을 도입한다.
• 여러 데이터셋에 걸쳐 BinaryDemoire가 기존 이진화 방법들보다 우수한 성능을 보임을 입증한다.

제안 방법

• ESDNet 기반 데모리화 백본을 중간 층에 1비트 가중치와 활성화를 적용하고, 첫 번째 및 마지막 층은 전체 정밀도로 유지하여 이진화한다.
• 웨이블릿 기반 주파수 특성 및 활성화 통계를 이용해 바이너리 컨볼루션을 조건화하기 위한 채널 단위 게이트를 예측하는 모아레 인지 이진 게이트(MABG)를 도입한다.
• 채널 차원 변화에서 파티션 투사 및 인터리브드 믹싱을 통해 경량화된 구조적 잔여 정렬을 가능하게 하는 셔플-그룹드 잔여 어댑터(SGRA)를 개발한다.
• 활성화 이진화에 대한 직전향 추정기(Straight-Through Estimators)와 1비트 가중치를 사용해 학습하고, 활성화 이진화를 위한 학습 가능한 채널 단위 임계치를 도입한다.
• 성능과 비용의 균형을 맞추기 위해 핵심 층에 선택적으로 MABG를 적용한다.

실험 결과

연구 질문

• RQ1 데모리얼링 작업에서 주파수 구조적 모아레 아티팩트에 대처하도록 이진화를 어떻게 적응시킬 수 있는가?
• RQ2 주파수와 통계에 조건화된 경량 게이팅 기제가 이진화된 데모리얼링 성능을 향상시킬 수 있는가?
• RQ3 채널 차원이 바뀌는 이진화된 데모리얼링 백본에서 잔류 연결을 어떻게 보존할 수 있는가?
• RQ4 BinaryDemoire의 성능-효율성 트레이드오프는 풀-정밀도 모델 및 다른 이진화 기반 베이스라인과 비교하여 어떤가?

주요 결과

• BinaryDemoire는 네 가지 데모리어링 벤치마크에서 기존 이진화 방법들보다 우수한 복원을 달성한다.
• 전체 정밀도 기본 모델(ESDNet)과 비교하여 BinaryDemoire는 비슷한 성능을 제공하면서 파라미터와 계산을 90% 이상 감소시킨다.
• MABG는 이진 활성화의 주파수 인식 채널 단위 게이팅을 가능하게 하여 baselines 대비 PSNR 및 SSIM을 개선한다.
• SGRA는 차원 변화에 걸친 효율적인 잔류 정렬을 제공하여 정보 흐름을 적은 오버헤드로 보존한다.
• 벤치마크 전반에 걸쳐 BinaryDemoire는 이진화 방법들 중 최고 또는 경쟁력 있는 결과를 얻으면서도 전체 정밀도 비용의 일부만 유지한다.